А/Б тестирование: 5 ошибок, из-за которых вы тестируете шум, а не креатив

Если у вас есть 2 варианта крео, это еще не А/Б тест. Тестом он становится только тогда, когда вы меняете один параметр и понимаете, почему победил именно он.

— Менять сразу несколько вещей: заголовок, визуал, оффер и CTA. В итоге вы не знаете, что сработало.
— Гнать слишком мало трафика. На маленькой выборке «победитель» часто случайный, а не лучший.
— Останавливать тест после первых кликов. Нужен не всплеск, а стабильный результат по нужной метрике.
— Сравнивать крео из разных условий: разные аудитории, плейсменты, бюджеты. Это уже не тест, а набор несопоставимых запусков.
— Побежденный вариант сразу удалять. Иногда он лучше на холодной аудитории, но хуже на прогретой.

Правильный порядок простой: сначала одна гипотеза, потом два варианта, затем одинаковые условия показа и заранее выбранная метрика успеха. Иначе вы оптимизируете не рекламу, а собственные догадки.

Если тестируете системно, сохраняйте не только победителя, но и причину победы. Через несколько запусков это даст больше, чем любой «интуитивно сильный» креатив.