Каузальные модели в AI Search: почему реальный трафик ломает бенчмарки

Каузальные модели в AI Search: почему реальный трафик ломает бенчмарки

Новая работа на arXiv предлагает TTT-SCL — фреймворк, который собирает тренировочные наборы динамически под каждый конкретный запрос. Авторы прямо называют три слабых места существующих supervised causal learning: разрыв между синтетикой и реальностью, хрупкость при distribution shift и провал compositional generalization. TTT-SCL якобы обходит всех на синтетике, pseudo-real и real-world датасетах.

Но суть не в методе, а в диагнозе. Для маркетологов, которые ставят каузальные модели в пайплайн ранжирования, классификации или прогноза конверсий, это красный флаг: ваша модель может отлично работать на «среднем» наборе, но сломается, когда запросы и паттерны поведения начнут плавать от сессии к сессии. А реальный трафик — это всегда сдвиг.

Если вы используете causal discovery или причинные модели для предсказания поведения пользователей, перестаньте верить бенчмаркам. Тестируйте на сегментах с аномальным поведением, на внезапных всплесках интентов, на смене источников трафика. Иначе в один момент модель выдаст красивую каузальную картинку, которая не имеет ничего общего с тем, что происходит в реальной выдаче.