Детект не держится на User-Agent. Смотрят связку: IP/ASN, TLS/HTTP-фингерпринт, Accept-Language, TZ, JS-рендер, историю переходов. Бот и человек с близким контекстом получают разные цепочки — флаг.
Паттерны:
— разный HTML на повторных визитах из близких сетей;
— 302/JS-редиректы только для «нежелательных»;
— отличия DOM после рендера и lazy-load;
— боту ответ быстро, юзеру через прокладку;
— гео и язык не бьются с IP/заголовками.
Поведенческие швы тоже копятся в профиль: бот видит индексируемую витрину без трекинга, человек — оффер со скриптами. Title, canonical, robots, статус и вес страницы сравниваются не разово, а серией обходов.
Проверка: гоняй один URL разными клиентами, сохраняй HTML, HAR, скрин, коды и время ответа. Сравнивай diff’ом, не глазами. Анализ логов не врет, в отличие от техподдержки.
SERP-клоакинг
@serp_cloak_zone_ubt
Как поисковик палит клоаку: 5 паттернов, которые видно в логах
Этот пост опубликован в Telegram-канале SERP-клоакинг. Подписаться можно по ссылке: @serp_cloak_zone_ubt.