# Эксперимент не закончился в момент «победил вариант B»

# Эксперимент не закончился в момент «победил вариант B»

Главная ошибка, которую я вижу в практике даже зрелых команд, — вынести из A/B-теста только решение: крутим дальше или откатываем. Сам тест при этом остаётся в папке «сделано», а накопленный шум, сегментные срезы и неожиданные побочные эффекты — теряются.

Сильная команда работает иначе. У неё после каждого эксперимента остаётся не один бинарный вывод, а три слоя информации.

Первый — **основной эффект**: что показала разница средних, был ли он статистически значимым, в каких сегментах эффект усилился или растворился. Без этого нет смысла обсуждать остальное.

Второй — **диагностика гетерогенности** (неоднородности отклика). Один и тот же вариант часто ведёт себя по-разному на новых и возвращающихся, на мобильных и десктопных, на коротких и длинных сессиях. Я неоднократно видел, как «нейтральный» в среднем эксперимент давал +9% у постоянных пользователей и −6% у новичков. Усреднённый ноль — это не ноль, это две задачи на сегментацию.

Третий — **косвенные метрики и побочные реакции**. Подскочил ли bounce, изменилась ли глубина просмотра, не просел ли retention на горизонте 14–30 дней. Особенно в 2026 году, когда средний чек в e-com снижается на 5–8% и ставка смещается с первой покупки на LTV (пожизненную ценность клиента), одних конверсий мало. Тест, который выигрывает в транзакциях, но проигрывает в повторных визитах, — это не победа, а перенос проблемы на следующий квартал.

Из этого вырастает простая дисциплина: каждую запись о завершённом тесте я бы требовал оформлять одним шаблоном. Гипотеза, дизайн, основной результат, таблица сегментов, длинный хвост метрик, явный follow-up: что проверяем следующим именно на основе этого запуска.

Тогда эксперименты перестают быть лотереей «а вдруг повезёт» и становятся кумулятивным активом команды. Один тест кормит три следующих.

— @ExperimentationRoom