Как отличить бота поисковика от модератора по цепочке запроса и fingerprint

Как отличить бота поисковика от модератора по цепочке запроса и fingerprint

Анализ логов показывает: по User-Agent верить нельзя. И поисковый бот, и модератор могут приходить через обычный браузерный стек, VPN, мобильный IP или корпоративный прокси. Поэтому смотрим не на строку в заголовке, а на поведение: порядок запросов, глубину обхода, частоту релоада, наличие prefetch, keep-alive и реакцию на 302/403.

Разберем техническую составляющую реализации. Для бота поисковой системы типичны:
• линейный обход без кликов по интерфейсу;
• повторяемый паттерн обхода каталога;
• стабильный referer или его отсутствие;
• одинаковый набор accept-language и accept-encoding.
У модератора чаще всплывают ручные действия: загрузка страницы, переходы вглубь, возврат назад, открытие формы, проверка мобильной и десктопной версий. Это видно в последовательности запросов и паузах между ними.

Отдельно проверяйте fingerprint: canvas, WebGL, timezone, размер viewport, наличие cookies и localStorage. Боты часто дают либо слишком чистый профиль, либо один и тот же отпечаток на нескольких сессиях. Модератор, наоборот, обычно наследует более «человеческий» стек, но с корпоративными ограничениями: нестандартный DNS, резолв через внутреннюю сеть, совпадающий ASN у группы IP.

Проверка цепочки прохождения запроса делается просто: логируете IP, X-Forwarded-For, TLS-параметры, UA, referer и последовательность URL. Если набор признаков стабилен и повторяется по шаблону — это автоматический обход. Если есть интерактивная навигация, но трафик идет с жестко контролируемой сетевой среды — вероятен модератор. Конфиг готов, можно деплоить: не блокируйте по одному признаку, собирайте корреляцию из 5-7 сигналов.