Шпаргалка по бюджету обхода: четыре параметра, на которые реально можно влиять

Бюджет обхода — это сколько страниц робот готов просмотреть за период. Напрямую он не настраивается, но управляется косвенно.

— Скорость ответа сервера. Чем быстрее отдаются страницы, тем больше их успевают обойти за то же время.

— Количество мусорных адресов. Сортировки, фильтры, метки и идентификаторы сессий съедают обход, не давая ничего взамен.

— Цепочки перенаправлений. Каждый лишний переход — это потраченный запрос.

— Коды ответа. Массовые ошибки сервера заставляют робота снижать темп обхода целиком по сайту.

Что проверять в первую очередь: соотношение числа полезных адресов к числу обойдённых. Если робот тратит большую часть запросов на технические адреса, работа с содержанием подождёт — сначала надо закрыть краны.