Эксперименты ломаются не на статистике, а на постановке гипотезы

Эксперименты ломаются не на статистике, а на постановке гипотезы

Если тест начинается с «давайте проверим кнопку», это не эксперимент, а проверка цвета. Нужна гипотеза в формате: изменение X должно повлиять на метрику Y, потому что меняется поведение Z.

Перед запуском проверьте 4 вещи:
— одна первичная метрика, без «и ещё выручка, и ещё retention»;
— заранее заданный критерий успеха и минимально заметный эффект;
— достаточная выборка, а не «пока красиво выглядит»;
— сегменты, где эффект может быть разным, но не размывайте итог ради любопытства.

Частая ошибка — остановить тест, когда p-value «почти сошёлся». Это почти всегда означает подглядывание в данные. Если нужен контроль длительности, фиксируйте горизонт заранее и не меняйте правила по ходу.

Ещё один провал — тестировать два изменения сразу и потом спорить, что именно сработало. Чем больше переменных, тем меньше шанс понять причинность. В результате команда получает не инсайт, а красивую легенду.

Хороший эксперимент отвечает не на вопрос «что выросло», а на вопрос «что можно повторить без самообмана».