AB-тест ломается не на гипотезе, а на постановке: 6 ошибок до старта

AB-тест ломается не на гипотезе, а на постановке: 6 ошибок до старта

Перед запуском проверьте не «интересно ли», а измеримо ли. Если метрика размыта, если нет базовой линии и заранее выбранного MDE, тест почти гарантированно закончится спором о трактовке.

Чаще всего валятся на трёх вещах:
— меняют сразу несколько элементов и не понимают, что дало эффект;
— режут трафик слишком мелко, получая широкий доверительный интервал;
— останавливают тест по первому «плюсу», не дождавшись полной выборки.

Ещё две типовые ошибки:
— смотрят только на primary metric и игнорируют guardrails: доход на сессию, отказ, ошибки формы;
— запускают на весь трафик, хотя сегменты реагируют по-разному. В одном сегменте лифт есть, в другом — шум или обратный эффект.

Если тест короткий и выборка маленькая, «победитель» часто просто случайная флуктуация. Надёжнее фиксировать длительность заранее, не трогать сплит по ходу и сравнивать не проценты, а абсолютный эффект вместе с интервалом неопределённости.