Эксперименты ломаются не на статистике, а на постановке гипотезы и метрике

Эксперименты ломаются не на статистике, а на постановке гипотезы и метрике

Если тест «не сработал», сначала проверьте не p-value, а вопрос, который вы задали. Частые ошибки:
— гипотеза слишком широкая: «улучшим конверсию»;
— метрика выбрана без связи с поведением;
— тест затрагивает редкий сценарий, а выборка собрана на всех сессиях;
— в анализе смешаны новые и возвратные пользователи.

В хорошей постановке есть один изменяемый фактор, одна primary metric и заранее заданный горизонт эффекта. Иначе вы ловите шум: локальный рост в одной сегменте может компенсироваться падением в другом, а итог будет выглядеть как «ничего не произошло».

Смотрите не только на средний uplift, но и на распределение. Иногда тест улучшает медиану, но ухудшает хвост: меньше ошибок у большинства, но сильнее просадка у части пользователей. Для продуктовых решений это часто важнее, чем красивый общий процент 📉

Если эксперимент нельзя объяснить одной фразой без оговорок, его рано запускать. Сначала зафиксируйте гипотезу, сегмент, метрику и критерий остановки — и только потом считайте эффект.