Как не слить A/B-тест крео из-за плохой выборки и кривой гипотезы

Как не слить A/B-тест крео из-за плохой выборки и кривой гипотезы

Первый провал обычно не в креативе, а в тесте. Если меняешь сразу заголовок, визуал и оффер, ты не понимаешь, что именно сработало. Для чистого A/B сравнивай один параметр: либо первый кадр, либо голос, либо CTA.

Перед запуском зафиксируй базу:
— один источник трафика и одна аудитория;
— одинаковую длину ролика;
— одинаковый бюджет и окно показа;
— одинаковую посадочную и трекинг.

Смотри не только на CTR. Для крео важны удержание первых 2–3 секунд, досмотр, клики по CTA и качество трафика дальше по воронке. Если ролик даёт высокий CTR, но плохой downstream, это не победа, а шум.

Хороший тест всегда имеет одну гипотезу: «более резкий хук поднимет стоп-скролл» или «живой голос даст лучшее удержание, чем синтез». Плохая гипотеза звучит как «сделаем красивее и посмотрим».

Сравнивай только после одинакового объёма показов и не закрывай тест слишком рано. Побеждает не самый громкий креатив, а тот, который стабильно держит метрику на одном и том же сплите.