А/Б тесты ломаются не на креативах, а на плохой постановке задачи

Если тестируете всё подряд, результат почти всегда шумный. Рабочий А/Б начинается с одного вопроса: что именно хотим улучшить — CTR, CR в заявку, доход с трафика или удержание. Меняете один фактор, а не «чуть текст, чуть кнопку, чуть оффер».

Дальше зафиксируйте базу:
— один источник трафика и одна аудитория;
— один критерий успеха;
— одинаковые условия показа;
— заранее заданный срок или объём данных.

Типовая ошибка — останавливать тест, когда «кажется, уже видно победителя». Ранний стоп часто ловит случайный всплеск. Если у вариантов мало трафика, лучше признать тест невалидным, чем тащить его в отчёт как найденную победу.

Ещё один важный момент: тестируйте не только победивший креатив, но и гипотезу. Иногда лучше работает не «кнопка другого цвета», а другая подача боли, другой первый экран или более узкий сегмент аудитории.

Хороший А/Б тест не доказывает, что идея гениальна. Он просто убирает догадки из медиаплана и показывает, что реально двигает метрику.