7 ошибок эксперимента, после которых ваш p-value можно выбросить

Плохой A/B-тест редко умирает в анализе. Его обычно убивают на старте: мутная гипотеза, метрика «посмотрим потом», аудитория набрана как попало. Дальше команда делает вид, что статистика всё простит. Не простит.

— Нет primary metric заранее: после факта выбрать «победу» из 12 метрик — лотерея.
— Нет power analysis: без MDE и выборки вы измеряете шум.
— Остановили на первом низком p-value: подглядывание плодит false positives.
— Не проверили SRM: перекос групп ломает весь вывод.

— Сегменты копают после результата: это гипотеза для нового теста, не доказательство.
— Guardrails забыты: рост клика при падении маржи или retention — не победа.
— Меняют фичу, событие или аллокацию на ходу: протокол умер.

Перед запуском зафиксируйте гипотезу, метрики, MDE, выборку, длительность, правила остановки и проверки качества. Эксперимент без протокола — не наука и не продуктовая скорость, а дорогой генератор самообмана.