Как маскировать лендинг под User-Agent ботов и не палить схему на первом же запросе

Как маскировать лендинг под User-Agent ботов и не палить схему на первом же запросе

Главная ошибка — верить одному User-Agent. Его подменяют за секунду, а сервер видит ещё IP, заголовки, порядок запросов и поведение сессии. Если клоака смотрит только на строку UA, то это не фильтр, а табличка «здесь прячут».

База нормальной маскировки:
• сверка UA с Accept-Language, Accept-Encoding, Sec-CH-UA
• отдельные правила для Googlebot, AdsBot, Bingbot, YandexBot
• проверка IP по диапазонам и reverse DNS
• белый ответ без лишних скриптов, редиректов и тяжёлых блоков

Не лепи одинаковую логику на всех ботов. Поисковый краулер часто идёт без куки и с предсказуемым паттерном, а «бот» от антифрода может имитировать браузер почти идеально. Поэтому решение должно жить не в одном if, а в связке: хедеры + IP + поведение + частота запросов. Анализ логов не врет, в отличие от техподдержки.

На практике держи два слоя: первый — быстрый допуск по явным ботам, второй — скрытая валидация подозрительных сессий. И обязательно логируй разницу между тем, что отдал бот, и тем, что увидел живой юзер: если расхождение видно в ответах сервера, схему уже читают.

Оптимизируй под алгоритм, конвертируй под человека. Если маскировка строится только на UA, её ломают в один проход; если на связке сигналов — она живёт дольше и даёт меньше палевных паттернов.