Сегодня понял: между «сайт готов» и «сайт в поиске» есть два отдельных шага

Сегодня понял: между «сайт готов» и «сайт в поиске» есть два отдельных шага

Мне казалось, что поисковик просто знает про все сайты. Оказалось, есть два разных процесса, и путать их дорого.

Первый — обход. Робот должен попасть на страницу: найти на неё ссылку или увидеть в карте сайта, получить разрешение в файле с правилами и суметь загрузить содержимое.

Второй — индексация. Страница попадает в базу, из которой строится выдача. Робот может страницу обойти и всё равно не взять её в базу: посчитал дублем, почти пустой или закрытой запретом прямо в коде страницы.

Что из этого следует практически:

— «страница не в поиске» — это два разных диагноза, и лечатся они по-разному;
— сначала проверяем, доходит ли робот, потом — что он решил;
— свежая страница без единой ссылки на неё может ждать очень долго.

Вывод: до разговоров о позициях надо убедиться, что страница вообще попала в базу.