<b>Собственная фильтрация трафика: как собрать антифрод на ClickHouse и Python</b>

<b>Собственная фильтрация трафика: как собрать антифрод на ClickHouse и Python</b>

Давайте поднимем логи и посмотрим правде в глаза. Если у вас фильтрация живёт в CRM-табличке и паре if’ов, ботнеты уже проходят сквозь неё как HTTP без TLS. Базовая схема рабочая: сырые события пишем в ClickHouse, Python использует их как слой принятия решения, а правила строятся не на «подозрительно», а на измеримых аномалиях.

Что хранить в событийке:
• ip, ua, referer, click_id, timestamp, campaign_id
• fingerprint: canvas/webgl/accept-language/timezone
• цепочку: click → lp → postback → first_action
• задержки между шагами и повторяемость паттернов

Сама фильтрация должна работать в два контура. Первый — онлайн-скоринг: Python получает событие, быстро проверяет IP/ASN, частоту, совпадение fingerprint и возвращает allow / deny / review. Второй — офлайн-аналитика: ClickHouse считает кластеры одинаковых UA, всплески кликов с одного /24 и неестественные интервалы между кликом и действием. Именно там видно, как бюджет утекает через аккуратно размазанный фрод.

Практика простая: заводите whitelist доверенных источников, ведите denylist на уровне IP/ASN/подсетей, а правила пишите как SQL-агрегации и Python-обёртку над ними. Не пытайтесь «угадать бота» по одному признаку — ботнеты эволюционируют, но паттерны их поведения остаются прежними.

Сначала соберите чистый поток и сравните его с мутным. Если аномалия повторяется в логах, ClickHouse её не забудет, а Python успеет отрубить до выплаты.