AB-тест ломается не на статистике, а на постановке гипотезы и метрике

AB-тест ломается не на статистике, а на постановке гипотезы и метрике

Если цель теста сформулирована как «увеличить конверсию», вы почти гарантированно получите шум. Нужна конкретика: какой шаг воронки меняем, какая метрика primary, какие guardrail-метрики не должны ухудшиться.

Перед запуском проверьте:
— единицу рандомизации: пользователь, сессия, аккаунт;
— инклюзию: кто попадает в эксперимент и кто исключён;
— размер минимального detectable effect, а не «кажется, лифт есть»;
— длительность, чтобы поймать сезонность и поведение по дням недели.

Самая частая ошибка — остановить тест по первому значимому всплеску. При последовательных просмотрах p-value начинает врать, а «победитель» часто исчезает на полной выборке. Ещё одна ловушка — смотреть только на CR, игнорируя маржу, отмены, возвраты и downstream-метрики.

Если тестов много, фиксируйте правило интерпретации заранее: кто принимает решение, при каком доверительном интервале, что считается достаточным эффектом для выката. Без этого у вас не эксперимент, а коллективное голосование за понравившуюся цифру.

Хороший AB-тест отвечает не на вопрос «победила ли кнопка», а на вопрос «можно ли повторить эффект без вреда для бизнеса».