А/Б тестирование: 5 ошибок, из-за которых вы сравниваете не креативы, а шум

А/Б тестирование: 5 ошибок, из-за которых вы сравниваете не креативы, а шум

А/Б тест работает только когда меняете один параметр. Заголовок, визуал, оффер или аудиторию — что-то одно. Если правите всё сразу, результат нельзя привязать к причине.

Перед стартом проверьте:
— одинаковый бюджет и окно показа;
— один источник трафика и один сегмент;
— достаточный объём показов, иначе выводы случайны;
— одну метрику успеха: CTR, лид, CPA, а не всё сразу.

Не делайте тест на слишком короткой дистанции. В первые часы часто побеждает не лучший вариант, а тот, кому просто повезло с открутом. Смотрите не на эмоцию от красивого крео, а на устойчивость цифр в схожих условиях.

Ещё одна ошибка — менять победителя после первого микроплюса. Если разница в пределах погрешности, это не сигнал, а повод добрать статистику. Иначе вы оптимизируете не воронку, а удачу.

Хороший тест не доказывает, что вариант идеален, он только показывает, что именно улучшать дальше.

—
Если тема зашла, посмотри @ivanov_media_083