A/B тест офферов: как сравнивать связки без мусора в статистике

A/B тест офферов: как сравнивать связки без мусора в статистике

Главная ошибка — тестировать всё сразу: крео, лендинг, оффер, GEO и плейсмент. В такой схеме вы не понимаете, где именно вырос EPC и почему просел CR. Для корректного теста меняем только один фактор: либо оффер, либо преленд, либо источник, а остальную воронку фиксируем. Трафик не терпит кривых настроек postback-запросов, иначе оптимизация строится на фантомных конверсиях.

Перед стартом прокидываем sub_id для глубокой аналитики воронки: источник, крео, плейсмент, устройство, оператор. Без этого декомпозиция профита превращается в гадание. Сегменты должны быть заранее заданы, иначе алгоритм обучается на шуме и вы смешиваете разные паттерны поведения в одну кучу. Смотрим на EPC в разрезе сегментов и операторов, а не на общий средний показатель.

В тесте важны: — одинаковый объём и качество трафика на обе стороны; — один критерий победы, лучше ROI или profit per click, а не «нравится/не нравится»; — минимальная выборка до решения, иначе сплит-тест даёт ложный лидер; — отдельный контроль по апруву, потому что высокий CR без финального подтверждения ничего не даёт.

После теста не спешите масштабировать победителя без повторной проверки на другом сегменте или другом источнике. Сплит-тест — единственный объективный судья в арбитраже, но только если вы не подмешали в него лишние переменные. Алгоритм обучается на ваших данных, не мешайте ему шумом.