Теневая система в SEO — это когда у сайта есть один robots.txt на бумаге и другой в логах.

Теневая система в SEO — это когда у сайта есть один robots.txt на бумаге и другой в логах.

Де-юре: «все важные страницы доступны, sitemap актуален, индексация под контролем».
Де-факто: Googlebot тратит crawl budget на мусор, параметрические URL, дубли, JS-обвязку и служебные страницы.

Как проверить, есть ли у вас тень:

1. Берём лог-файл за 7–14 дней.
2. Считаем, куда реально ходит бот: % хитов по типам URL.
3. Сравниваем с sitemap и приоритетами бизнеса.

Если 40–70% обхода уходит не на посадочные и товарные страницы — у вас не «сложный сайт», у вас расхождение между архитектурой на схеме и архитектурой в жизни.

Ещё один маркер: в Search Console страницы «вроде бы важные», но crawl rate на них ниже, чем на фильтры и дубли. Это не магия. Это сигнал, что поисковик видит сайт не так, как его описали разработчики и SEO.

Лечение не в лозунгах про «ускорить сайт». Лечение — в нормализации URL, жёстком контроле индексации, чистом internal linking и проверке по логам после каждого релиза. 🔧