Ошибки в robots.txt: четыре типа, которые встречаются чаще остальных

Файл выглядит простым, и именно поэтому его редко перечитывают после первой настройки.

— Закрытие того, что должно быть в индексе. Классика — запрет на раздел, который позже стал основным, а правило осталось.

— Попытка убрать страницу из индекса запретом обхода. Запрет мешает роботу увидеть страницу, а не удаляет её из индекса. Для удаления нужен доступ к странице и указание в ней.

— Закрытие служебных файлов оформления и скриптов. Робот не может отрисовать страницу и оценивает её хуже, чем она есть.

— Отсутствие ссылки на карту сайта. Мелочь, но она бесплатная.

Проверка занимает пять минут: открыть файл, прочитать вслух каждое правило и спросить, зачем оно здесь. Правила, на которые никто не может ответить, почти всегда достались по наследству.