AB-тест ломается не на статистике, а на постановке гипотезы и метрике

AB-тест ломается не на статистике, а на постановке гипотезы и метрике

В A/B-тесте важно не «поймать рост», а заранее зафиксировать: что меняем, какую метрику защищаем и какой минимальный эффект вообще имеет смысл. Если у теста нет одной primary-метрики, вы почти гарантированно увидите красивый шум.

Проверьте перед стартом:
— одна гипотеза = одна основная метрика;
— сегменты, на которых эффект ожидаем, определены заранее;
— длительность теста покрывает полный цикл поведения;
— sample ratio mismatch проверен до интерпретации результата;
— остановка теста по календарю, а не по «пиковому» графику.

Самая частая ошибка — смотреть на десяток вторичных метрик и выбирать ту, где случайно появился плюс. Это увеличивает false positive. Если тест затрагивает воронку, проверяйте не только конверсию шага, но и downstream-метрики: отмены, возвраты, AOV, retention.

Ещё один риск — запускать эксперимент на слишком маленькой базе. Тогда доверительный интервал будет шире эффекта, и «лифт» окажется внутри шума. В таком случае корректнее не «верить интуиции», а донабрать трафик или признать, что вопрос пока не измеряется надёжно.

Если гипотеза, метрика и размер выборки не согласованы заранее, A/B-тест превращается в генератор самообмана.