Эксперименты ломаются не на статистике, а на постановке гипотезы и единице анализа

Эксперименты ломаются не на статистике, а на постановке гипотезы и единице анализа

Если тест стартует с формулировки «проверим, станет ли лучше», вы почти гарантированно получите шум вместо ответа. Хорошая гипотеза всегда связывает действие, метрику и механизм: что именно меняем, на какую поведенческую метрику смотрим, почему эффект вообще должен появиться.

Дальше — единица анализа. Сессии, пользователи, заказы, аккаунты — это не взаимозаменяемые сущности. Если рандомизация идёт по сессиям, а решение принимается на уровне пользователя, эффект легко «размажется». Сначала фиксируйте, что является независимым наблюдением, потом считайте размер выборки.

Вторая частая ошибка — преждевременная остановка. Как только кривая поползла вверх, рука тянется закрыть тест. Но последовательные подглядывания повышают шанс ложноположительного результата. Лучше заранее задать длительность, критерий успеха и минимально заметный эффект, который вообще имеет смысл ловить.

И ещё один фильтр: сегменты не должны подменять общий вывод. Если выигрыш есть только у одной узкой группы, это не «победа варианта», а повод для отдельной проверки. Иначе вы оптимизируете локальный шум и теряете базовую картину.

Хорошая экспериментальная дисциплина скучна, зато экономит месяцы: одна чёткая гипотеза, одна единица анализа, один план остановки.