Robots.txt и noindex: где люди совершают ошибки, которые стоят органического трафика.
Fibots.txt — файл, который говорит поисковым роботам, какие разделы можно обходить, а какие нет. Noindex-тег говорит роботу не включать страницу в индекс.
Частые ошибки:
Закрытие CSS и JS в robots.txt. Классическая ошибка старой школы. Google должен видеть стили и скрипты, чтобы корректно рендерить страницу. Блокировка этих ресурсов мешает правильной индексации.
Noindex на важных страницах. Проверяйте теги при запуске новых разделов. Разработчики часто ставят noindex на стейджинге и забывают снять на продакшне.
Противоречие robots.txt и noindex. Если страница закрыта в robots.txt, робот не может прочитать на ней noindex-тег. Парадокс: закрытая страница может оставаться в индексе (без содержимого).
Дублирование через параметры URL. URL с параметрами сортировки, фильтров, UTM-метками создают тысячи дублей. Закрывать их через canonical или robots.txt параметры — разные подходы с разными последствиями.
Проверить все директивы: Google Search Console → Инструмент проверки URL → посмотреть, что видит Googlebot.
Технический SEO
@tech_seo_lab_n1k
Robots.txt и noindex: где люди совершают ошибки, которые стоят органического трафика.
Этот пост опубликован в Telegram-канале Технический SEO. Подписаться можно по ссылке: @tech_seo_lab_n1k.