7 ошибок A/B-теста, из-за которых «лифт» оказывается просто шумом

7 ошибок A/B-теста, из-за которых «лифт» оказывается просто шумом

1) Тестируют слишком много гипотез в одном эксперименте. Когда меняют и заголовок, и оффер, и CTA, вы не знаете, что именно сработало.
2) Смотрят только на p-value и игнорируют размер эффекта. Статистическая значимость без бизнес-значимости — слабый аргумент для релиза.
3) Останавливают тест по первому «плюсу». Ранний эффект часто откатывается, если добрать выборку до заранее заданного объёма.

4) Не считают MDE — минимально обнаруживаемый эффект. Если трафика мало, тест может быть методологически обречён с самого старта.
5) Смешивают аудитории с разным намерением: новые и возвращающиеся, мобильные и десктопные, тёплый и холодный трафик. Средняя температура по больнице здесь обманывает.
6) Не задают primary metric заранее. Когда после запуска начинают искать «какой-то положительный показатель», эксперимент превращается в постфактум-историю.

Хороший A/B-тест отвечает на один вопрос, измеряется одной главной метрикой и заканчивается только тогда, когда у вас есть заранее понятный объём данных и интерпретация без самообмана.