А/Б тестирование ломается не на креативах, а на плохой постановке задачи

Если тестируешь всё сразу — заголовок, оффер, картинку, аудиторию — ты не узнаешь, что именно сработало. Меняй один параметр за раз: так результат можно объяснить и повторить.

Перед запуском проверь 4 вещи:
— гипотеза сформулирована в одном предложении;
— есть один контрольный вариант и один тест;
— метрика успеха выбрана заранее;
— трафик делится без перекоса по источникам и устройствам.

Частая ошибка — останавливать тест, когда один вариант «вроде бы» лучше. Случайный всплеск не равен победе. Смотри не только на CTR, но и на дальше по воронке: лид, регистрация, депозит, покупка. Иначе победит крео, которое привело дешёвый, но бесполезный трафик.

Ещё один нюанс: тест должен быть достаточно длинным, чтобы собрать сопоставимый объём. Если данных мало, выводы будут шумными. Лучше один аккуратный тест, чем пять «почти понятных» 🚀

Хороший А/Б тест отвечает на один вопрос. Если после него нельзя принять решение без догадок — значит, гипотеза была слишком широкой или запуск слишком грязным.