Почему A/B тест не спасает, если гипотеза сформулирована криво

Почему A/B тест не спасает, если гипотеза сформулирована криво

Чаще всего тесты ломаются не на статистике, а на старте. Если меняете сразу креатив, оффер и аудиторию, вы уже не понимаете, что именно повлияло на результат.

Перед запуском проверьте:
— один тест = один изменяемый фактор;
— заранее фиксируйте метрику успеха: CTR, CR, удержание, доход на сессию;
— задайте правило остановки: по времени, по объёму трафика или по числу конверсий;
— не сравнивайте варианты, если трафик идёт в разное время и из разных источников.

Ещё одна ошибка — смотреть только на среднее значение. Иногда вариант выигрывает по конверсии, но проигрывает по качеству: больше возвратов, ниже LTV, хуже доля оплат. Тогда тест формально «победил», а бизнес — нет.

Если данных мало, делайте не A/B, а предварительную проверку: сначала отсейте слабые идеи на качественном уровне, потом уже гоняйте трафик. Так дешевле, быстрее и чище по выводам.