AB-тест креатива ломается не на статистике, а на грязной подготовке

AB-тест креатива ломается не на статистике, а на грязной подготовке

Первое правило: меняем только один слой. Заголовок, оффер, первый кадр или голос — не всё сразу. Если креативы отличаются по трём параметрам, вы не понимаете, что именно дало сдвиг.

Второе: фиксируйте одинаковый вход. Один и тот же трафик, одно окно показа, один плейсмент, один формат. Иначе вы сравниваете не креативы, а разброс аудитории и алгоритма доставки.

Третье: тестируйте на уровне гипотезы, а не вкуса. Формулировка должна быть короткой: «сухой UGC даст выше досмотр, чем рекламный диктор», «первый кадр с болью даст выше CTR, чем кадр с продуктом». Тогда результат можно повторить или опровергнуть.

Четвёртое: смотрите не только на CTR. Для видео важны досмотр, удержание первых 3 секунд, цена клика и доля мусорного трафика после перехода. Бывает, что кликов больше, а качество лида хуже — и это уже не победа.

Побеждает не самый яркий креатив, а тот, который прошёл тест в одной рамке и дал стабильный результат на повторе.