Robots и canonical: два тега, которые могут как ускорить индекс, так и вырезать трафик

Robots и canonical: два тега, которые могут как ускорить индекс, так и вырезать трафик

Robots.txt отвечает за обход: он не запрещает URL «существовать», но может не дать поисковику зайти на страницу и увидеть её содержимое. Canonical работает уже после обхода: он подсказывает, какую версию считать основной, если у вас дубли, фильтры, UTM, пагинация или похожие карточки. Ошибка в одном из тегов часто выглядит так: страница есть на сайте, но в поиске не появляется или подменяется другой URL.

Типовые косяки:
— закрыли в robots.txt страницу, на которую стоит canonical;
— поставили canonical на URL с редиректом, 404 или noindex;
— у дублей каноникал ведёт в разные стороны, и поисковик выбирает «сам»;
— забыли, что canonical — это рекомендация, а не жёсткий запрет.

Проверяйте связку целиком: страница должна быть доступна для обхода, отдавать 200 OK, содержать self-canonical или логичный canonical на нужную версию и не конфликтовать с noindex. Если закрываете раздел в robots.txt, убедитесь, что внутри нет страниц, которые должны собирать поиск и ссылочный вес. Если делаете каноникал между дублями, сводите всё к одному шаблону, а не настраивайте каждый URL вручную.

Для индексации важна не «магия тега», а отсутствие противоречий. Один лишний запрет в robots.txt или кривой canonical могут съесть видимость быстрее, чем любой контент успеет её заработать.