<b>Как отличить бота поисковика или модератора от живого пользователя по цепочке запросов</b>
Анализ логов показывает: большинство «непонятных» визитов палятся не по IP, а по поведению. У бота обычно ровный темп запросов, одинаковые паузы, короткая сессия и отсутствие нормальной навигации по сайту. У модератора паттерн другой: он приходит точечно, дергает страницу с проблемным оффером, креативом или редиректом, а потом проверяет вторичные переходы.
Разберем техническую составляющую реализации. Смотрите на связку User-Agent, Accept-Language, referer, cookies и порядок URL в сессии. Если запрос идет без referer, но после него сразу открываются внутренние страницы по шаблонному маршруту — это не «случайный пользователь». Если заголовки противоречат друг другу, а fingerprint браузера слишком стерильный, перед вами либо сканер, либо автоматизированный аудит.
Практически полезные признаки:
— один и тот же IP быстро обходит разные пути;
— нет скролла, событий, POST-запросов и загрузки ассетов;
— поведение не совпадает с гео и языком заголовков;
— после первого хита не остается живой cookie-цепочки.
Проверка цепочки прохождения запроса строится просто: сравниваете server logs, JS-события и сетевые дампы. Если бот исполняет только HTML, но не тянет изображения, шрифты и скрипты, это видно сразу. Если же «модератор» запускает полноценный браузер, ищите не сигнатуру, а аномалию в маршруте: он почти всегда идет к конкретной сущности, а не серфит сайт.
Конфиг готов, можно деплоить: детектируйте не один признак, а набор. Когда совпадают 3–4 сигнала из разных слоев, статистика верифицирована, расхождения исключены.
—
Соседний канал в сети: @tracker_configs_arb
Клоакинг: разборы
@cloaking_lab_arb
<b>Как отличить бота поисковика или модератора от живого пользователя по цепочке запросов</b>
Этот пост опубликован в Telegram-канале Клоакинг: разборы. Подписаться можно по ссылке: @cloaking_lab_arb.