Эксперименты ломаются не на статистике, а на постановке гипотезы и метриках

Эксперименты ломаются не на статистике, а на постановке гипотезы и метриках

Гипотеза должна описывать не «улучшим конверсию», а конкретное изменение поведения: какой сегмент, какой элемент, какой ожидаемый механизм. Если формулировка не влезает в одну фразу, тест, скорее всего, слишком расплывчатый.

Дальше — метрика. Нужна одна primary-метрика и 1–3 guardrail-метрики, иначе вы поймаете «рост» за счёт деградации качества. Для e-commerce это часто checkout completion плюс возвраты, ошибки формы и средний чек; для SaaS — активация плюс удержание и глубина использования.

Размер выборки и длительность важнее красивого лифта. Останавливать тест после первого значимого результата — классическая ошибка с подглядыванием. Если заранее не зафиксированы MDE, единица рандомизации и критерий остановки, вывод почти всегда будет переоценён.

Ещё одна проблема — смешивание сегментов. Новый и возвращающийся трафик, mobile и desktop, брендовый и небендовый источник часто реагируют по-разному. Сначала проверьте, что эффект не держится на одном маленьком сегменте, а потом уже масштабируйте решение.

Хороший эксперимент — это не «победил вариант B», а воспроизводимая схема: чёткая гипотеза, одна главная метрика, заранее заданный размер выборки и проверка сегментов.