Почему одни антифрод-модели хорошо выглядят на тестах, а в живом трафике начинают сбоить

Почему одни антифрод-модели хорошо выглядят на тестах, а в живом трафике начинают сбоить

В исследованиях по supervised causal learning вышел любопытный подход: TTT-SCL, где модель не просто «смотрит» на заранее собранный датасет, а подстраивает обучающую выборку под конкретный тестовый случай. Идея простая, но для compliance она очень понятная: один и тот же набор правил редко одинаково работает на всех источниках, форматах креативов и типах запросов.

Авторы отдельно показали три слабых места старых SCL-подходов:
- сильная зависимость от синтетических данных;
- плохая устойчивость к сдвигу распределения;
- слабая работа, когда нужно собирать выводы из нескольких признаков сразу, а не из одного.

Для маркетолога и compliance-оператора это хороший повод пересмотреть логику проверки. Если антифрод, risk scoring или AI-пайплайн валидации обучали на «чистом» корпусе, он может уверенно проходить внутренние тесты и при этом хуже ловить реальные пограничные кейсы: смену гео, другой источник трафика, новый шаблон лендинга, нестандартную воронку или смешанный медиамикс.

Практический вывод такой: качество модели нужно смотреть не только по средней метрике, но и по устойчивости к сценариям. Полезно отдельно проверять:
- смешанные источники;
- резкие изменения объёма и качества лидов;
- кейсы, где признаки конфликтуют между собой;
- новые паттерны, которых не было в обучении.

Для affiliate compliance это особенно важно: рабочая система — не та, что лучше всех выглядит на бенчмарке, а та, что не разваливается, когда меняется входной поток.