Как отличить бота поисковика и модератора от обычного пользователя на уровне трафика

Анализ логов показывает: большинство «ботов» палятся не по одному признаку, а по цепочке. Сначала смотрим ASN и IP-репутацию, затем TTL, заголовки Accept-Language, User-Agent, порядок запросов и наличие cookie. У живого пользователя эти параметры обычно согласованы; у сканера — часто собраны из разных шаблонов, как будто трафик клеили на коленке.

Проверка цепочки прохождения запроса строится так: — заход на главную; — переход на внутреннюю страницу; — загрузка CSS/JS/изображений; — повторный запрос к тому же URL с тем же cookie. Бот поисковика нередко берет только HTML, игнорируя фронтенд-ассеты, а модераторский софт может дергать страницу изолированно, без реферера и без последующих действий.

Дальше смотрим поведенческий слой: скорость открытия, паузы между запросами, глубина обхода, реакция на 302/403/429. Если клиент стабильно идет по sitemap, не исполняет JS и не сохраняет состояние сессии, это не «слабый юзер», а автомат. Если же есть короткий burst-запрос, после которого трафик исчезает, а через некоторое время приходит повторная проверка с другим IP, перед вами типичная инспекция.

Разбор технической составляющей реализации: не полагайтесь на один фильтр. Нужна связка из fingerprinting, проверки cookie, сверки referer и JS-challenge. Отдельно полезно логировать время между первым HTML и загрузкой ресурсов — это быстро показывает, кто читает страницу, а кто только индексирует.

Финал простой: не баньте по одному User-Agent, собирайте профиль запроса целиком. Когда статистика верифицирована, расхождения исключены, и решение принимается по совокупности сигналов, а не по красивой строке в логе.