7 ошибок A/B-теста, из-за которых “победитель” потом исчезает в проде

7 ошибок A/B-теста, из-за которых “победитель” потом исчезает в проде

Главная проблема не в статистике как таковой, а в постановке теста. Когда метрика выбрана слишком узко, тест «выигрывает» по клику, но проигрывает по выручке, удержанию или качеству лида.

— Смотрят только на CTR, игнорируя downstream-метрики. Кнопка может собирать больше кликов и одновременно ухудшать конверсию в покупку.
— Останавливают тест, когда результат «стал красивым». Это классическая ловушка peeking: чем чаще смотрите, тем выше шанс ложного победителя.
— Делят трафик на слишком мелкие сегменты. В итоге доверительный интервал шире эффекта, а выводы нестабильны.
— Тестируют сразу несколько изменений в одном варианте и потом не понимают, что именно дало эффект.
— Запускают эксперимент на периоде с сильной сезонностью или промо-аномалией без контроля базовой линии.
— Считают победой малый uplift без оценки практической значимости: +1% при высокой дисперсии может быть шумом.
— Не проверяют, не сломал ли вариант мобильный сценарий, хотя именно там часто живёт основная доля трафика.

Хороший A/B-тест — это не «нашли плюс», а проверили гипотезу так, чтобы её можно было воспроизвести. Перед запуском фиксируйте primary metric, guardrails, минимальный размер эффекта и правило остановки.