Как маскировать лендинг под User-Agent ботов и не палить клоаку на входе

Как маскировать лендинг под User-Agent ботов и не палить клоаку на входе

Первый фильтр — не верь только User-Agent. Бот может прийти с нормальной строкой, но левым IP, пустыми cookies и странным поведением. Поэтому решение строится не на одном триггере, а на связке: UA, ASN, язык, accept-headers, реферер, скорость кликов, глубина сессии.

Если нужен базовый сплит, делай так:
— ботам отдаёшь урезанный HTML без трекеров и тяжёлых скриптов;
— живым — полный лендинг с формой, пикселями и постбэком;
— для поисковых ботов режь JS, который меняет DOM после загрузки;
— не лей один и тот же шаблон на все UA, иначе ловишь сигнатуру.

Критичный момент — консистентность. Заголовки запроса, мета, canonical, hreflang и поведение страницы должны совпадать с тем, что видит бот. Если UA «Googlebot», а в ответе всплывает редирект на оффер, антифрод быстро связывает точки. Анализ логов не врёт, в отличие от техподдержки.

Практика без лишней магии: отдельный рендер для ботов, отдельный для людей, плюс слой проверки по IP-репутации и частоте запросов. На стороне сервера логируй: UA, IP, Accept-Language, cookie state, код ответа, время до первого байта. Так видно, где течёт маска и кто именно её срывает.

Делай клоаку не «по одному признаку», а по корзине сигналов. Оптимизируй под алгоритм, конвертируй под человека.