Эксперименты ломаются не из-за статистики, а из-за плохой постановки

Эксперименты ломаются не из-за статистики, а из-за плохой постановки

Если тест «не взлетел», сначала проверьте не p-value, а дизайн:
— одна гипотеза на один тест;
— один primary metric, а не 7 метрик «на всякий случай»;
— заранее заданный минимально заметный эффект, иначе выборка будет случайной.

Вторая частая ошибка — запускать эксперимент на слабом трафике и ждать магии. Если воронка короткая, а конверсия низкая, даже заметный по ощущению лифт может утонуть в шуме. Смотрите не только на % роста, но и на ширину доверительного интервала: широкий интервал = высокая неопределённость.

Третья проблема — сегменты, которые вы придумали после просмотра результата. Post-hoc разрезы почти всегда соблазнительны: в одном сегменте «победило», в другом «проиграло», а в целом эффекта нет. Такие находки годятся для следующей гипотезы, но не для принятия решения по текущему тесту.

Ещё один чек: эксперимент должен пережить сезонность, промо и изменения источников трафика. Если в период теста меняется состав аудитории, вы измеряете не только поведение интерфейса, но и сдвиг микса.

Хорошая практика простая: сначала протокол, потом запуск, потом интерпретация. Без этого любой «лифт» — всего лишь число, которому пока рано доверять.