При тестировании нескольких форматов одновременно легко получить шум вместо данных. Вот что делают неправильно чаще всего.
Ошибка 1: разный трафик на варианты. Если на формат А вы льёте 1000 в день, а на формат Б — 100, сравнивать нельзя. Объём влияет на стабильность метрик. Распределяйте бюджет поровну или зафиксируйте пропорцию заранее — например, 60/40. Считайте не конверсии, а процент конверсии.
Ошибка 2: разные аудитории. Если вы тестируете формат на разных гео, девайсах или возрастах, вы не сравниваете форматы — вы сравниваете аудитории. Изолируйте переменную: один гео, один девайс, один интерес. Остальное менять нельзя.
Ошибка 3: короткий период тестирования. Две недели — недостаточно. Метрики скачут из-за дневных циклов, выходных, сезонности. Минимум 3–4 недели на стабильных объёмах. Если трафик маленький — ждите дольше.
Ошибка 4: недостаточный размер выборки. Если в день конвертится 5–10 юзеров, тест не имеет смысла. Нужно минимум 50–100 конверсий на вариант, чтобы различия были статистически значимы. Меньше — это random.
Перед запуском теста убедитесь: одинаковый бюджет, одна аудитория, одна география, минимум 3–4 недели, минимум 50 конверсий на вариант. Остальное — статистика вам лжёт.
Ad Networks & Formats
@admedia_formatslab
Как A/B-тестировать форматы и не испортить результаты
Этот пост опубликован в Telegram-канале Ad Networks & Formats (@admedia_formatslab). Все его публикации — на странице канала.
Открыть в Telegram