5 ошибок эксперимента, после которых «значимый рост» можно не читать

Тест ломается не в момент расчета p-value. Он ломается раньше — когда команда запускает фичу «посмотреть, что будет» и называет это экспериментом.

— Нет заранее выбранной primary metric. Если после старта вы ищете метрику, где красиво выросло, это не анализ, а рыбалка.
— Нет power analysis. Маленькая выборка не «почти доказала эффект», она просто шумит.
— Нет проверки SRM. Если группы разъехались по трафику, вся статистика идет в мусор.
— Подглядывание каждый день. Остановить тест на первом зеленом экране — классический генератор false positive.
— Игнор guardrails. Конверсия выросла, а retention, refund или latency умерли? Поздравляю, вы оптимизировали пожар.

Минимальный протокол: гипотеза, primary metric, guardrails, MDE, размер выборки, срок, правило остановки, проверка SRM до интерпретации. Без этого у вас не A/B-тест, а дорогое гадание с графиками.

Сначала дизайн, потом выводы. В обратном порядке работает только самообман.