Как не палить лендинг по User-Agent и не кормить ботам один и тот же HTML

Как не палить лендинг по User-Agent и не кормить ботам один и тот же HTML

Если бот и живой пользователь видят одну и ту же страницу, клоакинг умирает в логах. База — не «угадайка» по одному User-Agent, а связка сигналов: UA, IP-профиль, Accept-Language, cookies, поведение на первом запросе.

Схема рабочая и простая:
— ботам отдают облегчённый HTML без лишнего JS, трекеров и редиректных цепочек;
— человеку — полноценный лендинг с прогревом, формой и пикселями;
— при совпадении нескольких ботовых признаков режут выдачу сразу, без второго шанса.

Не завязывайся только на строку User-Agent. Её подменяют криво, а фильтр становится дырявым. Смотри на:
— частоту запросов с одного диапазона;
— отсутствие движения мыши и скролла;
— пустые или ломанные заголовки;
— несостыковку языка браузера и гео IP.
Анализ логов не врет, в отличие от техподдержки.

Отдельно держи чистую бот-ветку: один и тот же шаблон ответа, минимальный TTFB, без тяжёлых ассетов. Любая задержка, 404 на картинке или лишний редирект — это лишний повод для повторного обхода и палевной проверки.

Правило одно: маскируй не лендинг, а весь след вокруг него. Оптимизируй под алгоритм, конвертируй под человека.