Байес против частотки: как не сжечь бюджет на «доказательной» ерунде

Байес против частотки: как не сжечь бюджет на «доказательной» ерунде

В арбитраже частотный подход любит мучить байера до последнего клика. Он требует «достаточно данных», гоняет в хвост и в гриву p-value и часто прячет очевидный профит за красивой статистической дымовой завесой. Пока ты ждёшь, крео уже протухло, а адсет уехал в клоаку.

Байесовская логика режет шум быстрее. Она отвечает не «есть ли эффект вообще», а «какова вероятность, что этот креатив лучше другого прямо сейчас». Для сплита это золото:
— можно останавливать мёртвые варианты раньше;
— можно не кормить мусор дейли-лимитом ради священной значимости;
— можно принимать решение, когда данных мало, но цена ошибки уже видна.

Но байес не магия. Если в тесте грязный трафик, кривой пиксель или разные офферы в одной воронке, он просто быстрее покажет твою катастрофу. Пиксель видит твой страх. Модель не спасает от мусора, она лишь раньше говорит, где именно ты его налил.

Частотка нужна там, где вопрос юридически жёсткий или цена ложного вывода слишком высока. Байес нужен в живом арбитраже, где время — это деньги, а ожидание «идеальной выборки» убивает спред.

Смерть или профит: третьего не дано. Если тестируешь крео, смотри на вероятность победы, а не на религию p-value. Статзначимость написана кровью байеров.