Почему частотный тест часто врет, а байес спасает крео от мусорной статистики

Почему частотный тест часто врет, а байес спасает крео от мусорной статистики

Частотка любит чистые учебники. Арбитраж — клоака, где трафик рваный, окна короткие, а шум жрет сигнал. В такой мясорубке p-value легко дает иллюзию победы: адсет еще не отбил даже подливу, а ты уже ставишь на него весь дейли-лимит.

Байес не просит верить в чудо. Он считает вероятность того, что вариант лучше, на каждом новом куске данных. Поэтому он полезен там, где:
— мало конверсий и нельзя ждать «идеальной» выборки;
— креативы быстро умирают;
— нужно сравнивать не только среднее, но и риск просадки.

Частотный подход полезен, когда трафика много и условия стабильны. Но в арбитраже стабильность — редкий зверь. Кампания может показать «значимость» на шуме, а потом сдохнуть после масштабирования. Байесовский взгляд режет этот самообман: он не кричит «победа», пока не видит, что шанс профита перевешивает шанс слива. Пиксель видит твой страх — и статистика тоже.

Правило простое: если на твоем объеме теста ошибка дороже задержки, байесовский подход выгоднее; если данных вагон, можно добивать частоткой. Тест — это не трата, это покупка данных у судьбы.