А/Б тесты ломаются не из-за креативов, а из-за плохой проверки гипотез

Не сравнивайте сразу всё подряд. В одном тесте меняют только один элемент: заголовок, оффер, кнопку, формат крео или аудиторию. Иначе вы увидите не результат, а смесь факторов, где непонятно, что именно сработало.

Перед запуском проверьте 4 вещи:
• одна цель и одна метрика успеха;
• одинаковый бюджет и условия показа;
• достаточный объём трафика для вывода;
• заранее записанная гипотеза: «если меняем X, то ждём Y».

Смотрите не только на CTR. Иногда креатив выигрывает по кликам, но проигрывает по качеству лида или по цене целевого действия. В таком случае «победитель» в тесте на самом деле сливает деньги на следующем шаге воронки.

Ещё одна ошибка — останавливать тест по первой удачной просадке или всплеску. Ранние колебания часто обманывают. Давайте тесту пройти через несколько одинаковых условий и сравнивайте варианты по одной логике, а не по эмоциям.

Хороший А/Б тест не доказывает, что вариант красивее — он показывает, где воронка теряет деньги.