Байес против частотки: как не сжечь бюджет на ложной «значимости»

Байес против частотки: как не сжечь бюджет на ложной «значимости»

В арбитраже частотный подход любит красивые ритуалы: p-value, «дождёмся 95%» и потом, если повезёт, апрув. Проблема в том, что трафик — не стерильная лаборатория. Креативы умирают, аудитории выгорают, адсеты меняют поведение. Статзначимость, добытая на вчерашнем шуме, часто превращается в дорогой самообман.

Байесовский подход режет эту клоаку без лишней лирики. Он отвечает не «есть ли эффект вообще», а «какова вероятность, что этот крео/оффер/связка лучше». Это важнее, когда ты льёшь сериями: несколько прокл, разные плейсменты, разный CPL и вечная война с ограниченным дейли-лимитом. Тут нужен не суд присяжных, а быстрый приговор.

Как работать без фанатизма:
— не сравнивай крео по одному дню, смотри на распределение, а не на один пик;
— закладывай априорную информацию: старый оффер, похожая ГЕО, прошлые связки;
— выбирай победителя по ожидаемой прибыли, а не по красивому CTR;
— останавливай тест, когда вероятность проигрыша уже душит бюджет.

Частотка полезна, когда нужен жёсткий формальный фильтр и объём данных большой. Но в арбитраже объём часто рваный, а условия меняются быстрее, чем успевает набраться «идеальная» выборка. Поэтому частотный подход легко запирает тебя в ожидании чуда, пока пиксель видит твой страх.

Тест — это не трата, это покупка данных у судьбы. Если хочешь меньше сливать на ложных победителях, смотри не на магию 95%, а на вероятность профита и риск добивания бюджета.