Эксперименты ломаются не на статистике, а на постановке гипотезы

Эксперименты ломаются не на статистике, а на постановке гипотезы

Если тест начинается с «давайте поменяем кнопку», вы уже рискуете получить шум вместо знания. Хорошая гипотеза отвечает на три вопроса: что меняем, для кого и какой механизм должен сработать.

Перед запуском проверьте:
— один тест = одна ключевая идея, а не набор правок;
— целевая метрика должна быть связана с поведением, а не с удобством отчёта;
— сегмент, на который смотрите, известен заранее, а не найден после просмотра результата.

Дальше — воронка. Если верхняя метрика выросла, но упали клики дальше по пути, эффект может быть локальным. Поэтому смотрят не только primary metric, но и guardrails: отказ, доход, глубину сессии, ошибки формы.

Ещё одна частая ошибка — остановка теста в момент «красивого» лифта. Без заранее заданной длительности и размера выборки вы почти гарантированно переоцениваете эффект.

Если гипотеза не объясняет, почему изменение должно работать, это не эксперимент, а лотерея с дашбордом.