Восемь ошибок в robots.txt, которые встречаются чаще остальных

Восемь ошибок в robots.txt, которые встречаются чаще остальных

Файл маленький, а цена ошибки высокая: неверная строка способна убрать из индекса целый раздел.

— Закрыт каталог со стилями и скриптами, из-за чего страница отрисовывается для робота неправильно.
— Используется Disallow в надежде убрать страницу из индекса. Он запрещает обход, а не показ, для удаления нужен мета-тег robots.
— Директива Allow стоит после более общего Disallow и не срабатывает так, как ожидалось.
— В файле указан адрес карты сайта с другим доменом или протоколом.
— Правила написаны под конкретного робота, а общий блок про это не знает.
— Регистр в пути не совпадает с реальным: файл чувствителен к регистру.
— Остались тестовые правила, закрывающие весь сайт целиком.
— Файл отдаётся с кодом 500, и робот считает, что обход запрещён полностью.

Вывод: после каждой правки проверяйте файл инструментом в панели вебмастера. Глазами эти восемь пунктов ловятся плохо.

—
Если понравилось — посмотри @tech_audit_seo_n1k