A/B тест офферов: как не слить бюджет на статистический шум

A/B тест офферов: как не слить бюджет на статистический шум

Офферы сравниваются по одной гипотезе: тот же источник, гео, крео и лимит кликов. Меняем только оффер или лендинг. Иначе тест превращается в замер хаоса воронки, а не конкретной переменной.

Протокол:
— sub_id: источник, крео, плейсмент, девайс, оператор;
— postback по статусам: lead, approve, reject;
— EPC, CR и ROI отдельно по сегментам;
— отключение только после сопоставимого объёма кликов.

Не смотрите только на CR. Высокий CR легко маскирует слабый аппрув или низкий payout. Смотрим на EPC в разрезе сегментов и операторов: «средний» оффер часто выигрывает за счёт стабильного аппрува на конкретном трафике.

Победитель — не тот, кто дал первый плюс, а тот, кто держит ROI после чистки мусорных sub_id и повторного прогона. Алгоритм обучается на ваших данных, не мешайте ему шумом.