Вежливый сборщик данных живёт дольше жадного, и дело не только в этике.

Вежливый сборщик данных живёт дольше жадного, и дело не только в этике.

Жадный обход выглядит для сайта как атака: десятки одновременных запросов, перебор всех страниц подряд, отсутствие пауз. Реакция предсказуема — ограничение по адресу, проверка на человека во всём разделе, а иногда и правка сайта, которая ломает сбор для всех.

Минимальная гигиена, которая почти ничего не стоит:

— один поток вместо десяти, если объём это позволяет;
— паузы между запросами и разброс интервалов, а не идеально ровный ритм;
— уважение к указаниям сайта о том, что обходить не стоит;
— честное представление клиента с контактом, по которому можно написать;
— обход ночью по местному времени сайта, если данные не нужны срочно;
— сохранение уже полученного, чтобы не запрашивать одно и то же дважды.

Отдельный пункт — реакция на отказы. Если сервер отвечает отказом или просит подождать, нужно действительно ждать и увеличивать паузу, а не долбить в цикле.

Аккуратный сбор обычно остаётся незамеченным. Это и есть цель.