A/B-тест легко испортить не гипотезой, а постановкой измерения

A/B-тест легко испортить не гипотезой, а постановкой измерения

Чаще всего ломают не статистику, а логику эксперимента:
— тестируют сразу несколько изменений в одном варианте;
— считают все сессии, хотя решение влияет только на новых пользователей;
— запускают тест на слишком коротком окне, ловя дневную сезонность;
— останавливают эксперимент на первом «значимом» всплеске.

Для интерпретации смотрите не только p-value, но и базовую конверсию, размер эффекта и доверительный интервал. Если интервал широкий, «плюс 8%» может быть как реальным ростом, так и шумом. Особенно осторожно с маленькими выборками: там статистическая значимость часто появляется раньше, чем практический эффект.

Ещё одна типовая ошибка — менять метрику по ходу теста. Если изначально целились в add-to-cart, а потом выбрали checkout completion, вы уже сравниваете разные истории. Лучше заранее зафиксировать primary metric, guardrail-метрики и правило остановки.

Хорошая привычка: перед запуском ответить письменно на три вопроса — кто попал в эксперимент, какое действие меняем и по какой метрике принимаем решение. Это экономит больше денег, чем любой «креативный» вариант кнопки.