Культура экспериментов в 2026: почему «A/B-тест» перестал быть единицей работы

Культура экспериментов в 2026: почему «A/B-тест» перестал быть единицей работы

Я заметил простую вещь в наших проектах: команда перестаёт «делать эксперименты», как только начинает относиться к A/B как к отдельному событию. В 2026 выигрывает не тот, кто чаще запускает проверки, а тот, кто строит систему обучения — от гипотезы до решения и последующего пересмотра допущений.

Причина банальная: мир ушёл от линейной логики “показали баннер → получили клик → конверсия”. В онлайне растёт доля Zero-click сценариев (поисковые/AI-обзоры забирают верх воронки), атрибуция становится privacy-first (last-click уже часто не объясняет причинность), а в B2B классический путь MQL/SQL всё чаще заменяют RevOps-подходом, где за выручку отвечают маркетинг, продажи и customer success. На таком фоне даже корректный A/B по кликам может оказаться методологически честным, но бизнес-неполезным.

Как мы формулируем “эксперимент” в своей культуре сейчас.

1) Единица работы — не тест, а цикл решения. Гипотеза должна быть сформулирована как изменение наблюдаемого поведения системы: что конкретно изменится, в какой метрике, на каком горизонте, и за счёт какого механизма.
2) Результат теста — не “статзначимо/нестатзначимо”, а управленческое решение: масштабируем / ограничиваем / отменяем / меняем стратегию сегментов.
3) Контроль — это не только A/B-рандомизация. Это ещё и контроль контекста: сезонность, изменения трафика, состав аудитории, влияние параллельных релизов и промо.

Одно наблюдение из практики (без мистики): когда мы начали оценивать эксперименты не по первичной конверсии, а по инкрементальности на уровне поведения (например, доля целевых действий в когорте после экспозиции), число “победителей” по клику заметно выросло, но управленческие решения стали точнее. В одном из кейсов команда отклонила решение, которое давало плюс в short-term метрике, но ухудшало retention-поведение через несколько недель. Проблема была не в статистике — в том, что критерий успеха мы подбирали слишком близко к поверхности.

Вопрос, который я теперь задаю перед любым тестом: “Мы хотим измерить эффект или подтвердить гипотезу?” Если это только эффект на одну метрику — культура превратится в фабрику рандомизированных карточек. Если подтверждаем гипотезу о механизме — мы строим Topical Authority внутри компании: каждое решение делает нас умнее в области, а не просто “заносит цифру”.

Если у вас сейчас эксперименты выглядят как конвейер — попробуйте сменить правило игры: фиксируйте не количество запусков, а процент решений, которые были пересмотрены данными следующего цикла (пусть даже на коротком горизонте). Это хороший индикатор того, что культура действительно учится, а не просто отчётно проверяет гипотезы.

— @ExperimentationRoom