Google снова напомнил, что краулинг — это не магия, а бухгалтерия ресурсов. На больших сетках картина простая:

Google снова напомнил, что краулинг — это не магия, а бухгалтерия ресурсов. На больших сетках картина простая: рост числа URL без роста crawl budget почти всегда заканчивается тем, что в индекс попадает не то, что вы хотели, а то, что роботу было лень пропустить мимо.

По метрикам видно три вещи:
— доля просканированных, но неиндексируемых страниц растёт первой;
— свежие шаблоны и дубли съедают обход быстрее, чем контент успевает “созреть”;
— после просадки по server response time бот режет активность заметнее, чем после любой косметики на сайте.

Если у вас в логах бот ходит часто, а в индексе пусто — это не “песочница”, это либо мусорная архитектура, либо плохая экономия на техническом слое. Краулинг любит структуру, а не надежды. 🧊