<b>Эксперименты ломаются не на расчётах, а на постановке гипотезы и метрики</b>

<b>Эксперименты ломаются не на расчётах, а на постановке гипотезы и метрики</b>

Если тест запускают «проверить кнопку», это почти всегда плохая формулировка. Эксперимент должен отвечать на вопрос: <i>какое поведение меняем и какой риск принимаем</i>.

Проверьте перед стартом:
— одна первичная метрика, а не три «главных»
— заранее заданный MDE, а не поиск эффекта постфактум
— сегменты, где эффект может отличаться, но не дробите выборку без причины
— длительность теста минимум на полный цикл поведения пользователя
— правила остановки: по времени, по выборке, по качеству данных

Самая частая ошибка — смотреть только на средний лифт. Если uplift есть, но доверительный интервал широк и пересекает ноль, это ещё не победа. Иногда тест «выиграл» только потому, что в когорте было больше возвращающихся пользователей или перекосился трафик.

Ещё один риск — запускать сразу несколько изменений в одном тесте и потом не понимать, что именно сработало. Тогда результат нельзя повторить, даже если цифра выглядит красиво.

Хорошая привычка: до старта записать гипотезу в формате «если мы изменим X, то метрика Y вырастет у сегмента Z, потому что…». Если такую фразу нельзя написать без натяжки, тест ещё не готов.