Экспериментирование ломается не в статистике, а в постановке гипотезы и метрики

Экспериментирование ломается не в статистике, а в постановке гипотезы и метрики

Если тестировать «всё сразу», вы почти гарантированно получите шум вместо ответа. Базовый каркас: одна гипотеза, одна primary-метрика, заранее заданный сегмент, минимальный срок набора данных. Иначе любой лифт легко окажется артефактом сезонности, каннибализации или случайного перекоса трафика.

Перед стартом проверьте:
— метрика действительно отражает цель, а не удобна для отчёта;
— в контроль и вариант попадают сопоставимые пользователи;
— эффект можно интерпретировать не только по p-value, но и по доверительному интервалу;
— заранее решено, что делаете при неоднозначном результате.

Отдельная ловушка — подглядывание в результаты. Если останавливать тест, когда график «порадовал», вы меняете сам эксперимент. Для длинных воронок это особенно опасно: ранний lift на клике может не дойти до покупки, а «победа» в верхнем шаге ухудшит итоговую конверсию.

Ещё одна ошибка — оптимизация под среднее значение без сегментов. Иногда тест выигрывает на desktop и проигрывает на mobile, а в сумме выглядит нейтрально. Поэтому смотрите не только общий итог, но и заранее оговорённые разрезы.

Хорошее экспериментирование — это не поиск красивого процента, а система, где каждый тест либо меняет решение, либо честно закрывает гипотезу.