AB-тест ломается не в статистике, а в постановке: 5 ошибок до запуска

AB-тест ломается не в статистике, а в постановке: 5 ошибок до запуска

Первый провал — тестируют две версии, но не одну гипотезу. Если меняете и текст, и цвет, и порядок блоков, вы не узнаете, что именно дало эффект.

Второй — берут метрику, которая слишком далеко от бизнеса. Рост кликов на CTA ничего не значит, если падает доход на сессию или ухудшается качество лидов.

Третий — останавливают тест по первому «плюсу». Без заранее заданного размера выборки и длительности легко поймать шум и принять его за эффект.

Четвёртый — не смотрят на сегменты. В среднем тест может быть «нулевым», но на мобильных, новых пользователях или в одном гео эффект часто отличается.

Пятый — забывают про сезонность и трафик-микс. Если в начале эксперимента пришёл один тип аудитории, а в конце другой, итоговая картина уже смещена.

Перед запуском проверяйте три вещи: одна гипотеза, одна главная метрика, один заранее согласованный критерий остановки. Это банально, но именно здесь чаще всего теряют доверие к тестам.