Эксперименты ломаются не на статистике, а на постановке гипотезы

Эксперименты ломаются не на статистике, а на постановке гипотезы

Если тест начинается с «проверим кнопку», а не с вопроса о поведении пользователя, вы почти гарантированно измеряете шум. Хорошая гипотеза связывает изменение с конкретным действием: меньше трения в форме, больше доверия в карточке, ниже когнитивная нагрузка в checkout.

Перед запуском проверьте 4 вещи:
— одна метрика-решение, а не «посмотрим на всё»;
— заранее заданный минимальный эффект, который вам вообще важен;
— сегмент и устройство, где эффект ожидается;
— исключение конфликтов с другими тестами и промо.

Если этого нет, p-value становится декоративным числом. Тест может показать «значимость», но при малой выборке и коротком окне он легко переоценивает случайный всплеск. Особенно это заметно в трафике с высокой сезонностью или длинным циклом покупки.

После завершения смотрите не только на uplift, но и на ширину доверительного интервала: если он широкий, вывод всё ещё слабый. Полезнее принять решение «запускаем / не запускаем / тестируем дальше», чем выжимать победу из пограничного результата.

Хороший эксперимент не обещает рост. Он уменьшает неопределённость и отсекает плохие идеи раньше, чем они съедят трафик.