Байес против частотки: почему один тест спасает бюджет, а другой топит клоаку

Байес против частотки: почему один тест спасает бюджет, а другой топит клоаку

В арбитраже спор не про математику. Спор про то, сколько кровью заплатишь за ложный сигнал. Частотный подход любит ритуалы: p-value, пороги, «дождаться значимости». Байесовский смотрит на бой шире: он обновляет вероятность, пока в кабинет летят новые клики, лиды и отказы.

Частотка полезна, когда условия стерильны. В реальном трафике стерильности нет. А есть:
— рваный спенд и малый объем;
— разные пачки трафика в одном адсете;
— быстрые качели по крео и прокле;
— вечный соблазн раньше времени объявить победителя.

Байесовский подход лучше держит удар в этой грязи, потому что отвечает на главный вопрос байера: «Какова вероятность, что вариант A реально лучше B, если завтра прилетит еще пачка данных?» Это не магия. Это дисциплина. Пиксель видит твой страх, а байесовская модель хотя бы не делает вид, что двух кликов достаточно для приговора.

Но не надо путать здравый смысл с религией. Байес не спасет мусорный оффер, кривую воронку и лендинг, где апрув умирает на первом экране. Если данные шумные, оба подхода будут врать. Поэтому правило простое: сначала режь очевидный мусор, потом сравнивай варианты по вероятности победы, а не по красивой цифре в одном окне. Статзначимость написана кровью байеров.

Смерть или профит: третьего не дано. Выбирай метод не по моде, а по тому, сколько у тебя трафика, шума и права на ошибку. Тест — это не трата, это покупка данных у судьбы.