А/Б тесты ломаются не на крео, а на плохой постановке гипотезы

А/Б тесты ломаются не на крео, а на плохой постановке гипотезы

А/Б тестирование работает только когда вы сравниваете один фактор. Меняйте одновременно заголовок, картинку и оффер — и вы не поймёте, что именно дало результат. В нормальном тесте одно отличие, одна гипотеза, один вывод.

Перед запуском проверьте:
— что метрика одна и она главная: CTR, CR или доход на клик;
— что трафик делится случайно, без перекоса по источникам;
— что выборка набирается до заметной разницы, а не до первого удачного дня;
— что тест идёт на одинаковых аудиториях и одинаковых условиях показа.

Частая ошибка — делать вывод по «победителю» слишком рано. Если вариация вырвалась вперёд на малом объёме, это ещё не доказательство. Смотрите не только на рост, но и на стабильность: вариант может дать всплеск кликов и просадку по качеству лидов.

Полезно заранее зафиксировать, что считается успехом, а что — шумом. Тогда команда не спорит по ощущениям, а работает по правилам.

Если тест нельзя описать одной фразой, значит он собран плохо. Сначала гипотеза и метрика, потом креативы и цифры.