А/Б тестирование ломают не креативы, а плохая постановка гипотезы

Почти всегда тесты дают мусорный результат из-за одной из трёх ошибок: смешали много изменений в одном варианте, запустили слишком мало трафика или сравнили не те метрики. Если меняете и заголовок, и оффер, и кнопку — вы не поймёте, что сработало.

Рабочая схема простая:
— тестируйте один фактор за раз;
— заранее фиксируйте главную метрику и вторичные;
— держите группы одинаковыми по источнику, устройствам и гео;
— не останавливайте тест, пока не набрали достаточный объём.

Ещё одна ловушка — победитель по CTR не всегда выигрывает по заявкам или прибыли. Креатив может собирать больше кликов, но приводить более холодную аудиторию. Поэтому сравнивать надо не только верх воронки, но и то, что происходит дальше.

Если тест не влияет на решение, это не тест, а статистический шум. Сначала формулируйте гипотезу, потом выбирайте метрику, и только после этого запускайте сравнение.