A/B-тест ломается не только из-за плохой гипотезы. Чаще причина в данных: трафик делят неравномерно, аудитории пересекаются, а в одной группе оказывается больше «тёплых» кликов. Тогда тест якобы подтверждает крео, хотя он просто получил удачную выборку.
Проверь перед выводом:
— одинаковый источник и период набора
— равные условия показа: гео, устройства, плейсменты
— достаточно ли трафика, а не «пару десятков лидов»
— нет ли остановки теста сразу после всплеска
— не менялись ли лендинг, оффер или трекер по ходу
Ещё одна ловушка — смотреть только на CR или только на ROI. Один креатив может давать дешёвые клики, но мусорные лиды; другой — дороже клик, зато лучше проходит в апрув. Без пост-клика метрик A/B легко выбирает не победителя, а самый шумный вариант.
Если результат слишком красивый, сравни не только итог, но и распределение внутри воронки: клики, регу, апрув, отклонения. Когда разброс между группами объясняется не креативом, а условиями, тест надо повторять, а не масштабировать.
Media Casebook
@admedia_media_casebook
Почему A/B-тесты в CPA иногда показывают ложный победитель
Этот пост опубликован в Telegram-канале Media Casebook (@admedia_media_casebook). Все его публикации — на странице канала.
Открыть в Telegram