A/B тесты ломаются не на статистике, а на плохой постановке гипотезы

A/B тесты ломаются не на статистике, а на плохой постановке гипотезы

Сильный тест отвечает на один вопрос: что именно меняем и какой результат ждём. Если в варианте B вы одновременно трогаете заголовок, визуал и оффер, вы не узнаете, что сработало. Оставляйте одну ключевую переменную.

Перед запуском проверьте:
— одна цель на тест: клик, лид, покупка или удержание;
— одна аудитория без пересечений между вариантами;
— достаточный объём трафика, иначе шум победит сигнал;
— заранее заданное правило успеха, а не «посмотрим по ощущениям».

Частая ошибка — останавливать тест, когда один вариант «вроде лидирует». На короткой дистанции случайность легко выглядит как победа. Считайте не только среднее значение, но и разброс, а ещё смотрите, не сломался ли следующий шаг в воронке: креатив может поднять CTR и уронить конверсию в оплату.

Ещё один полезный фильтр: если тест нельзя повторить на той же гипотезе, значит постановка была слабой. Хороший эксперимент даёт не просто победителя, а понимание механики. После этого гипотезу можно масштабировать в новые связки и не гадать, почему рост исчез.

Делайте тесты как серию точных вопросов, а не как лотерею из двух баннеров — тогда каждый запуск будет накапливать знание, а не только цифру в отчёте.