A/B тесты ломаются не в запуске, а в плохой постановке гипотезы

Если тестить «что-нибудь», вы получите шум, а не решение. В нормальном A/B тесте меняют только один элемент: заголовок, оффер, кнопку, первый экран или формат креатива. Когда за раз трогают всё, потом невозможно понять, что именно сработало.

Перед стартом проверьте 4 вещи:
— одна цель: клик, лид, подписка или покупка;
— одна метрика успеха, без запасных «на всякий случай»;
— достаточный объём трафика, иначе победитель случайный;
— одинаковые условия показа, чтобы группы не были перекошены.

Частая ошибка — останавливать тест, как только одна версия «обогнала» вторую. Ранний всплеск часто исчезает на длинной дистанции. Ещё хуже — постоянно подглядывать в цифры и менять варианты по ходу: тогда это уже не тест, а хаос с красивым отчётом.

Полезная схема простая: сначала формулируете гипотезу, потом задаёте срок и критерий победы, затем запускаете и не трогаете тест до конца периода. Если разницы нет, это тоже результат: вы убрали слабую идею и не слили бюджет на догадки.

A/B тест нужен не для того, чтобы «найти магию», а чтобы быстрее отсекать слабые решения и масштабировать рабочие.