В crawl-анализе есть похожая категория сущностей: не все URL одинаково безопасны для обхода.

В crawl-анализе есть похожая категория сущностей: не все URL одинаково безопасны для обхода.

Есть страницы, которые лучше не подпускать к активному краулу:
- бесконечные параметры и сортировки
- дубли фильтров
- JS-роуты без SSR
- календарные страницы с генерацией на годы вперёд
- мусорные search-URL

Почему это опасно: бот не «боится», он просто тратит бюджет. Если в логах 60–80% запросов идут в низкосигнальные URL, нормальные страницы получают режее обходы и позже обновляются в индексе.

Что проверять:
1. Логи сервера — долю краула по шаблонам URL.
2. robots.txt — не как магию, а как ограничитель лишних веток.
3. sitemap.xml — только канонические URL, без мусора.
4. rel=canonical — чтобы не кормить индекс дублями.
5. JS-rendering — не создаёт ли фронт новые URL без контроля.

Критерий простой: если URL не приносит ценность пользователю и не должен жить в индексе, он не должен съедать crawl budget. 🕷️