Байес против частотки: как не сливать бюджет на фальшивой «значимости»

Байес против частотки: как не сливать бюджет на фальшивой «значимости»

В арбитраже частотный тест часто выглядит как броня. На деле это картон. Он требует много трафика, любит ровные условия и легко врёт, когда ты режешь кампанию по адсету, крео и гео одновременно. В клоаке реальности данные рваные. Конверт скачет. А ты всё ещё ждёшь «достаточную выборку», пока бюджет уже уехал в трубу.

Байесовский подход живёт иначе. Он не молится на магическую границу p-value. Он спрашивает: какая версия вероятнее выиграет сейчас, с теми данными, что уже есть? Для медиабайера это не философия, а способ раньше закрыть мусор и не держать мёртвый креатив на дейли-лимите из-за красивой таблички.

Но и байес — не индульгенция. Если исходные данные грязные, если ты смешал разные источники трафика, разные проклы и разные офферы, он просто быстрее покажет твою ошибку. Правила жёсткие: сравнивай однотипные связки, смотри не на CTR в одиночку, а на CPA, CR и LTV-суррогаты, и не делай вывод, пока интервал неопределённости не перестал жрать маржу.

Рабочая схема простая: частотка — для жёсткой валидации, когда нужен сухой приговор и большой объём; байес — для оперативного боя, когда надо резать хвосты и перераспределять бюджет без самообмана. Статзначимость написана кровью байеров. Тест — это не трата, это покупка данных у судьбы. Смерть или профит: третьего не дано.