Неделю ловил странную картину: страницы в sitemap есть, сервер отдаёт 200, а в логах — тишина. Краулер ходил к

Неделю ловил странную картину: страницы в sitemap есть, сервер отдаёт 200, а в логах — тишина. Краулер ходил как по минному полю: сначала брал морду и пару хвостов, потом замирал, будто ему кто-то подкрутил приоритеты.

Разгадка оказалась банальной и мерзкой одновременно. Шаблон тащил в body тяжёлый мусор: лишние блоки, дубли, псевдосвязность ради объёма. Для человека — терпимо. Для бота — сигнал «сюда не надо». После чистки структуры, выноса второстепенного в lazy и жёсткого урезания внутренних дублей поведение поменялось за 2 обхода: глубина выросла, новые URL начали подхватываться без танцев.

Вывод простой: индексация — это не магия и не «подождать апдейта». Если краулинг спотыкается на архитектуре, он не будет героически продираться через ваш мусор. Он просто уйдёт туда, где ему дешевле по ресурсам. 🧩