Когда A/B-тест перестаёт быть экспериментом и становится ритуалом

Когда A/B-тест перестаёт быть экспериментом и становится ритуалом

В культуре экспериментов есть тихая болезнь, о которой не пишут в гайдах. Команда делает всё «правильно»: формулирует гипотезу, выбирает метрику, запускает сплит-тест, ждёт статистической значимости, радуется победе зелёной кнопки. А через полгода выясняется, что выручка стоит на месте, retention (удержание пользователей) не растёт, и никто не может внятно объяснить, что команда узнала о своих клиентах за эти шесть месяцев. Тестов было много. Знаний — мало.

Это происходит не потому, что A/B-тесты не работают. А потому что эксперимент постепенно превращается из инструмента познания в инструмент подтверждения. Мы тестируем то, что и так почти решили, и перестаём тестировать то, чего по-настоящему не понимаем.

**Тест ради теста: как оптимизация съедает обучение**

Самая частая ловушка в зрелых продуктовых командах — превращение экспериментов в конвейер. Появился слот в спринте — запускаем тест. Освободился слот — берём следующий. Скорость тестирования становится метрикой эффективности самой по себе, отдельно от того, узнаём ли мы что-то новое.

Один финтех-сервис из моего поля зрения в какой-то момент хвастался: 40 запущенных экспериментов за квартал. Звучит внушительно. Но когда я попросил показать три самых контринтуитивных результата, которые заставили команду пересмотреть картину мира о клиенте, — выяснилось, что почти все победы были «вариант Б победил вариант А на два процента, развернули». Это не эксперименты, это микрооптимизация. Полезная как гигиена, но не как источник стратегических инсайтов.

Настоящий эксперимент отвечает на вопрос, на который у вас нет готового ответа. Если ответ у вас уже есть — это не эксперимент, это верификация, и для неё хватает более дешёвых инструментов. Смешение этих двух режимов — главная причина, по которой культура экспериментов со временем выдыхается.

**Карта незнания: что мы на самом деле не знаем о клиенте**

В здоровых командах рядом с бэклогом гипотез существует параллельный документ, который я называю «картой незнания». Это не список фич и не план экспериментов. Это перечень убеждений команды о клиенте, которые мы считаем истинными, но ни разу не проверяли эмпирически. Убеждение первое: «наши пользователи ценят скорость доставки выше цены». Убеждение второе: «корпоративные клиенты принимают решения рационально». Убеждение третье: «мы теряем пользователей на третьем шаге онбординга (ввода нового пользователя в продукт) из-за сложной формы».

Без карты незнания команда тестирует то, что лежит на поверхности. С ней — то, что действительно формирует продуктовую стратегию. Хороший показатель зрелости экспериментальной культуры — не количество тестов в месяц, а доля экспериментов, в которых результат оказался неожиданным для команды. Если все ваши тесты подтверждают то, что вы и так думали, вы, скорее всего, тестируете не гипотезы, а уже принятые решения.

**Длинные эксперименты как инвестиция в картину мира**

Короткие A/B-тесты на конверсию одной кнопки — это необходимая гигиена. Но они почти никогда не меняют стратегию. Для стратегических сдвигов нужны другие форматы: многофакторные эксперименты, holdout-тесты (тесты с контрольной группой, которую намеренно не трогают), долгосрочные измерения эффекта на LTV (пожизненную ценность клиента).

Пример из e-commerce 2025–2026: средний чек падает, ставка смещается на повторные покупки. Команда одного крупного маркетплейса заметила, что краткосрочные тесты на промо-акции дают быстрый рост выручки, но через два месяца эффект исчезает. Они перешли к экспериментам с горизонтом 90 дней, где главной метрикой стал не RPO (выручка с пользователя в период акции), а вклад в шестимесячный LTV. Результат — несколько «побед» по краткосрочной метрике оказались нейтральными

— @ExperimentationRoom