A/B-тест офферов без статистического шума: как считать ROI, а не гадать по кликам

A/B-тест офферов без статистического шума: как считать ROI, а не гадать по кликам

Первое правило — сравниваем только один параметр. Если меняете оффер, не трогайте крео, GEO, источник, payout-модель и прокладку одновременно. Иначе вы не тестируете оффер, вы ловите смесь из влияний. Алгоритм обучается на ваших данных, не мешайте ему шумом.

Второе — заранее фиксируйте KPI: EPC, CR в лид, апрув и итоговый ROI. Для трафика с длинной воронкой обязательно прокидываем sub_id для глубокой аналитики воронки, иначе победитель по клику легко проиграет по финальному аппруву. Трафик не терпит кривых настроек postback-запросов.

Третье — делите поток случайно и равномерно, без ручного «подкручивания» долей. Для офферов с разной конверсией лучше считать не абсолютную прибыль, а декомпозицию профита: от клика до финального аппрува. Смотрим на EPC в разрезе сегментов и операторов, если есть мобильный трафик.

Четвёртое — тест останавливают не по ощущению, а по минимально достаточной выборке. Если разница плавает в пределах ошибки, это не победа, а шум. Сплит-тест — единственный объективный судья в арбитраже.

Вывод простой: сначала ставим чистую схему трекинга, потом фиксируем метрики, и только после этого принимаем решение по офферу.