Эксперименты ломаются не на статистике, а на постановке гипотезы и единице анализа

Эксперименты ломаются не на статистике, а на постановке гипотезы и единице анализа

Если тест запускают «проверить кнопку» без чёткой метрики, он почти всегда превращается в спор вкусов. В нормальной постановке есть три вещи: одна главная метрика, заранее заданный сегмент, и понятная единица анализа — пользователь, сессия или заказ.

Типовые ошибки:
— сравнивают CTR кнопки, а решение принимают по выручке;
— дробят трафик по устройствам уже после запуска и ловят ложные выводы;
— останавливают тест, когда «лифт выглядит красивым», вместо заранее заданного срока;
— смотрят на p-value без доверительного интервала и размера эффекта.

Если вариант B дал +2,1% к конверсии, но интервал включает ноль, это не победа, а шум с приятной картинкой. Для продуктовых решений важнее не «значимо/не значимо», а насколько эффект устойчив на разных сегментах и не съедается ли он в downstream-метриках вроде AOV или retention 📉

Хороший эксперимент отвечает не только на вопрос «что сработало», но и «при каких условиях это повторится». Поэтому до запуска фиксируйте гипотезу, guardrail-метрики и правило остановки. Иначе вы измеряете не продукт, а собственную способность убедить себя.