Робот не обходит сайт бесконечно. У него есть предел на каждый ресурс, и складывается он из того, сколько сист

Робот не обходит сайт бесконечно. У него есть предел на каждый ресурс, и складывается он из того, сколько система готова потратить, и того, сколько сайт способен выдержать.

На небольших проектах об этом можно не думать. На крупных именно здесь теряются страницы: они существуют, они полезны, но до них никто не доходит.

Что съедает обход:

— бесчисленные сочетания фильтров и сортировок, каждое со своим адресом;
— параметры сессий и меток в ссылках, порождающие копии одной страницы;
— календари, у которых всегда есть следующий месяц;
— страницы поиска по сайту, доступные роботу;
— длинные цепочки переадресаций и медленные ответы сервера.

Что помогает: убирать лишние адреса из внутренних ссылок, отдавать ошибку там, где страницы не должно быть, склеивать копии указанием канонического адреса, а самые бессмысленные ветки закрывать от обхода.

И основа: скорость ответа. Чем быстрее сервер отдаёт страницы, тем больше их успевают забрать за то же время. Это самый скучный и самый действенный рычаг. 📊