AB-тест сломается не из-за статистики, а из-за плохой постановки гипотезы

AB-тест сломается не из-за статистики, а из-за плохой постановки гипотезы

Гипотеза должна менять один понятный элемент поведения. Если в варианте одновременно правят заголовок, оффер и форму, вы уже не знаете, что именно дало эффект.

Перед запуском проверьте:
— метрику решения и защитные метрики;
— минимальный эффект, который вообще имеет смысл ловить;
— единицу рандомизации: пользователь, сессия или аккаунт;
— риски пересечения аудиторий и «заражения» между вариантами.

Дальше важны объём и длительность. Слишком короткий тест ловит шум, слишком длинный начинает смешивать эффект с сезонностью, каналами и изменением трафика. Если трафика мало, «лифт» часто оказывается просто случайной флуктуацией вокруг среднего.

Ошибка, которую видят почти все CRO-команды: смотреть только на p-value. Без доверительного интервала и абсолютного эффекта легко принять микролифт, который не окупает внедрение. В продукте и e-commerce это особенно заметно: рост конверсии на доли процента может быть статистически значимым и коммерчески пустым.

Если тест нельзя объяснить одной фразой, его нельзя надёжно интерпретировать. Сначала формулируйте причинную связь, потом дизайн эксперимента, и только потом запускайте трафик.