Главная ошибка — сравнивать всё сразу. Меняют и оффер, и заголовок, и формат, а потом не понимают, что именно повлияло на результат. В тесте должен отличаться один параметр: иначе это не A/B, а набор догадок.
Перед стартом зафиксируй базу:
• одна цель и одна метрика
• одинаковый трафик и условия показа
• заранее заданный срок остановки
• сегменты, которые не смешиваются между собой
Не гоняйся за ранним победителем. Ранний всплеск часто даёт шум: один вариант может выстрелить на маленькой выборке, а потом проиграть на объёме. Смотри не на «красиво выросло», а на устойчивость результата и разницу между группами.
Если тестов много, веди журнал: что менял, зачем, какой был гипотетический эффект. Без этого команда начинает повторять старые гипотезы и тратить трафик на уже проверенные идеи. Ещё одна частая ошибка — останавливать тест сразу после первого перевеса.
Хороший A/B тест не ищет чудо-кнопку, он быстро отсекает слабые решения. Чем чище гипотеза, тем дешевле следующий запуск.
Иванов | Медиа и охваты 065
@ivanov_media_065
А/Б тест сливает бюджет не из-за креативов, а из-за плохой постановки
Этот пост опубликован в Telegram-канале Иванов | Медиа и охваты 065. Подписаться можно по ссылке: @ivanov_media_065.