Индексация ломается чаще не из-за поисковика, а из-за мелочей на сайте
Проверяю это в таком порядке: 1) страница реально отдает 200, а не 3xx/4xx; 2) в robots.txt нет запрета на нужный раздел; 3) canonical указывает на саму страницу, а не на дубль; 4) в sitemap попадают только канонические URL. Если хотя бы один пункт мимо, страница может жить в обход индекса.
Частые проблемы: noindex в meta или заголовке X-Robots-Tag, цепочки редиректов, параметрические URL, дубли из-за слэшей, http/https и www/non-www. Еще одна ловушка — тонкий контент: страница открывается, но поисковик не видит в ней ценности и откладывает индексацию.
Pros: быстро чинится на уровне шаблонов, robots и canonical; хорошо ловится в Search Console и логах. Cons: одна правка может породить другую ошибку, если не проверить все зеркала и типы URL. Не для тех, кто ищет «волшебную кнопку»: без чистой структуры сайта индекс будет плавать.
Best for: SEO-спринт перед масштабированием и аудит техстраниц. Сначала снимите блокировки, потом уже ждите трафик; иначе вы оптимизируете страницу, которую поисковик просто не берет в работу.
Index or Bust
@IndexOrBust
Индексация ломается чаще не из-за поисковика, а из-за мелочей на сайте
Этот пост опубликован в Telegram-канале Index or Bust. Подписаться можно по ссылке: @IndexOrBust.