Как распознать бота поисковика или модератора по цепочке запросов

Как распознать бота поисковика или модератора по цепочке запросов

Анализ логов показывает: почти все «случайные» визиты, которые внезапно ломают воронку, оставляют одинаковые следы. У роботов обычно пустой либо шаблонный referer, ровный тайминг, предсказуемые пути обхода страниц и повторяющийся User-Agent без нормальной браузерной шумности.

Проверка цепочки прохождения запроса начинается с DNS, IP и TLS-фингерпринта. Если клиент заявляет Chrome, а по JA3/HTTP2-поведению похож на библиотеку, это уже не пользователь. Дальше смотрим cookies, порядок загрузки ресурсов, наличие JS-исполнения и реакцию на редиректы: бот часто берет только HTML и не доходит до событий фронта.

Отдельный маркер — поведение на скрытых элементах. Honeypot-ссылки, невидимые формы, неочевидные параметры в URL и нестандартные заголовки быстро вскрывают автоматизацию. Модераторские сканеры чаще работают аккуратнее: они ходят коротким маршрутом, стабильно держат один IP-диапазон и не имитируют живую сессию с прокруткой, кликами и задержками.

Практика простая: сравнивайте не один признак, а связку из referer, fingerprint, скорости навигации и глубины сессии. Если три слоя одновременно не бьются, перед вами не трафик, а инспекция.