Маскировка лендинга под User-Agent бота: рабочая схема без лишнего шума

Маскировка лендинга под User-Agent бота: рабочая схема без лишнего шума

Если бот видит тот же HTML, что и живой трафик, клоакинг быстро трескается. Базовая логика простая: по UA ты не «веришь» запросу, а подтверждаешь его несколькими слоями сигнала.

— Сверяй User-Agent с IP-репутацией: у поисковых ботов должны быть ожидаемые ASN, диапазоны и поведение.
— Не делай отдельную «пустую» страницу: разница в контенте, заголовках и скорости ответа палится быстрее всего.
— Для бота отдавай стабильный HTML без JS-цепочек, редиректов и капч. Для человека — нормальный прогрев, но без резких расхождений в структуре.
— Логи режь по связке UA + IP + Accept-Language + cookie footprint. Один параметр ничего не решает.

Критичный момент: подмена только через UA-строку — детский сад. Нормальный фильтр смотрит заголовки, тайминги, частоту запросов и поведенческий след. Если бот заходит с «правильным» UA, но тянет кривой Accept-Encoding или ведёт себя как прокси-роутер, его надо уводить в нейтральную ветку.

Рабочая практика: сначала строишь allowlist для ботов, потом отдельную ветку для всего остального. Внутри allowlist — минимальная вариативность, чистые ответы, отсутствие лишней логики на клиенте. Анализ логов не врет, в отличие от техподдержки.

Оптимизируй под алгоритм, конвертируй под человека — но не смешивай их в одной выдаче.