Почему “культура экспериментов” чаще проваливается не из‑за гипотез, а из‑за операционной математики

Почему “культура экспериментов” чаще проваливается не из‑за гипотез, а из‑за операционной математики

Я всё чаще вижу одну и ту же картину в маркетинге образца 2026: команда умеет формулировать гипотезы, может запускать A/B-тесты, но результаты не накапливаются. Эксперименты идут “по ощущениям”, а не складываются в управляемую систему знаний. И проблема почти всегда не в тестах как методе. Проблема — в операционной модели, которая превращает статистику в театр.

На моей практике (и это согласуется с тем, как устроены privacy-first измерения) основная утечка ценности происходит в трёх местах.

Первое — выбор метрики. В эпоху AI-overviews и “zero-click” трафик может не конвертироваться в привычные действия сразу, но влиять на последующий цикл принятия решения. Если мы измеряем только ближайшую конверсию “здесь и сейчас”, то отсекаем сигнал, который маркетинг исторически и создаёт. В B2B это видно особенно отчётливо: lead (лид) сам по себе становится слабым прокси для revenue (выручки). Поэтому я всё чаще фиксирую правило: **метрика эксперимента должна быть ближе к выручке или к касанию, которое системно ведёт к покупке/активации**, даже если это дольше по времени. Да, придётся работать с window (временным окном) и задержками.

Второе — вариативность и контекст. “Одинаковый” креатив в разных сегментах — это уже разные эксперименты. А если вы тестируете только один канал, вы получаете не причинность, а корреляцию. В условиях, когда атрибуция становится более осторожной (server-side, MMM, incrementality), я предпочитаю дизайн, где минимум один слой — сегментный или мультиканальный: не обязательно “сложная” методология, но хотя бы осмысленная стратификация по намерению/стадии.

Третье — дисциплина остановки. Самая частая ошибка: команда запускает тест и забывает про него, пока не начнутся разговоры “ну не взлетело”. В нормальной операционной культуре решение об остановке — часть процесса ещё до запуска: что считаем “достаточно”, какие границы для MDE (минимально обнаруживаемого эффекта), сколько проверок допускаем и как защищаемся от multiple testing (множественных проверок). Без этого статистика превращается в оправдание любой гипотезы — и хорошей, и плохой.

Один практический маркер, который я использую как редактор-методолог: если в портфеле экспериментов нет хотя бы 2–3 итераций на одну и ту же “проблему пользователя” (не на одну страницу и не на один креатив, а на один поведенческий паттерн), то культура скорее декларируется, чем существует. Эксперименты должны накапливать знание, а не выдавать разрозненные отчёты.

Моя позиция простая: культура экспериментов — это не про скорость запуска. Это про качество операционной математики вокруг решения. Когда метрики выбраны правильно, контекст учтён, а остановка формализована — тогда A/B-тесты перестают быть событием и становятся механизмом роста (growth — в русском понимании: управляемого улучшения результатов).

— @ExperimentationRoom