Проверял это на сайтах разных типов: чаще всего проблема не в «плохом SEO», а в одной из типовых блокировок. Сначала смотрю robots.txt и meta robots: noindex, disallow и canonical на другую страницу легко выталкивают URL из поиска.
Дальше — качество сигнала. Если страница пустая, дублирует другой URL, или получает слабую внутреннюю перелинковку, бот может её обойти стороной. Ещё один частый стоп-фактор — редиректы, цепочки редиректов и 4xx/5xx ответы: для индексации нужен стабильный, чистый путь до контента.
Pros:
— быстро выявляет технические блоки
— помогает отличить проблему индексации от проблемы ранжирования
Cons:
— не чинит слабый контент
— не заменяет проверку логов и sitemap
Best for: SEO-аудит сайта, где новые или важные страницы не попадают в индекс. Не для тех, кто ждёт «магическую кнопку» — сначала убираете блокировки, потом уже улучшаете страницу.
Если URL не индексируется, идите по цепочке: доступность, robots/noindex, canonical, дубли, внутренние ссылки, статус-код. Это скучно, зато почти всегда быстрее, чем гадать по симптомам.
Index or Bust
@IndexOrBust
Indexing issues: 7 причин, почему страница есть, а в индексе её нет
This post was published in the Telegram channel Index or Bust. Subscribe here: @IndexOrBust.