Словарь техSEO: как связаны robots.txt, sitemap, canonical и индексация страниц

Robots.txt — файл с правилами для роботов. Он ограничивает сканирование разделов и URL, но не гарантирует удаление страницы из индекса: закрытый адрес всё ещё может появиться там по внешним сигналам. Не блокируйте в robots.txt важные CSS, JavaScript и изображения, если они нужны для рендеринга.

Sitemap — список URL, которые вы считаете доступными и полезными для поисковика. Добавляйте туда канонические страницы с ответом 200, а не редиректы, дубли, закрытые от индексации URL и страницы с ошибками. Sitemap помогает обнаружению, но не заставляет поисковик индексировать адрес.

Canonical — подсказка о предпочтительной версии страницы среди дублей. Ссылка должна вести на доступный URL с тем же или эквивалентным содержанием. Если canonical указывает на другую тему, закрыт robots.txt или расходится с внутренними ссылками, сигнал становится слабее.

Индексация — попадание страницы в поисковую базу, а не просто её обход роботом. Проверьте цепочку: URL доступен для сканирования, отдаёт 200, не содержит запретный noindex, включён в перелинковку и согласован с sitemap и canonical.

Сначала устраните противоречия между этими сигналами, затем анализируйте индексацию по группам страниц, а не по одному случайному URL.