Байесовская статистика против частотной: как не сжечь бюджет на ложной надежде

Байесовская статистика против частотной: как не сжечь бюджет на ложной надежде

Частотный подход любит делать вид, что мир чистый и ровный. Дай ему выборку, порог p-value, и он торжественно скажет: «значимо». А потом трафик развалится на скейле, потому что кабинет — не лаборатория, а клоака с шумом, фродом и рандомом.

Байесовский подход работает как байер с шрамами на душе. Он не ждет приговора от одной цифры. Он обновляет веру по мере прилета данных и отвечает на главный вопрос: какой вариант даст больше денег при текущем объеме и риске. Для арбитража это важнее, чем религия «поймали значимость — значит победили».

Где частотка ломается:
— при малых объемах она орет слишком рано или молчит слишком долго;
— при множестве крео и адсетов плодит ложные победы;
— при сильной вариативности по гео, плейсментам и аудиториям путает шум с сигналом.
Байес лучше держит удар, когда тестов много, а данных мало. Он не обещает чудес. Он просто меньше врет.

Но и его надо кормить правильно. Не сравнивай мертвые адсеты. Не мешай разные офферы в одну кашу. Не делай вывод по первому дню, если пиксель еще в истерике. Сначала режь мусор, потом смотри на распределение, потом принимай решение. Тест — это не трата, это покупка данных у судьбы.

Если нужна не красивая математика, а выживание бюджета, байесовский фильтр обычно полезнее. Статзначимость написана кровью байеров.