Почему «давайте просто A/B-тест» — это уже не гипотеза, а отмазка

Почему «давайте просто A/B-тест» — это уже не гипотеза, а отмазка

В последние полгода всё чаще вижу одну и ту же картину на созвонах по экспериментам. Продакт-менеджер или маркетолог приходит с идеей, звучит она примерно так: «давайте протестируем новый лендинг», «поменяем кнопку», «перерисуем баннер». На уточняющий вопрос «а какую гипотезу проверяем?» — тишина или переформулировка через «ну, мы же хотим улучшить конверсию».

Проблема не в том, что люди не хотят экспериментировать. Проблема в том, что культура экспериментов в командах по-прежнему строится вокруг действия («запустим тест»), а не вокруг знания («хочу понять, почему пользователи не доходят до оплаты»). И это особенно заметно на фоне того, что performance-маркетинг в 2026 уходит от last-click в сторону incrementality и MMM. Когда вы не можете просто посмотреть в атрибуцию и увидеть эффект — гипотеза становится единственным якорем, который удерживает эксперимент от превращения в гадание.

Вот три маркера, по которым я отличаю настоящую экспериментальную гипотезу от желания «что-то поменять и посмотреть».

— Есть механизм. Не «новая кнопка увеличит CTR», а «пользователи не видят ценность до клика, потому что формулировка абстрактная — конкретное обещание выгоды снимет это сомнение». Разница — в причинно-следственной цепочке, а не в самом изменении.

— Есть измеримый исход за пределами прокси-метрики. Если единственная метрика успеха — CTR баннера или конверсия лендинга, вы, скорее всего, оптимизируете локальный показатель, а не бизнес-результат. Хорошая гипотеза связывает изменение с выручкой, retention (удержанием) или LTV (пожизненной ценностью клиента), даже если напрямую вы будете мерить промежуточное.

— Есть условие фальсификации. Вы заранее можете сказать, при каком результате эксперимента откажетесь от идеи. Если такого порога нет — это не гипотеза, это Research & Development за счёт продуктового бюджета.

Практическое наблюдение: в командах, где доля «пустых» A/B-тестов (без явного механизма) выше 30-40%, общая скорость принятия продуктовых решений ниже, а не выше. Парадокс в том, что больше тестов ≠ больше знаний. Больше тестов без гипотез = больше шума и решение в итоге всё равно принимается интуицией.

В эпоху privacy-first атрибуции и zero-click контента цена плохо поставленного эксперимента растёт. Раньше вы могли «дотянуть» решение через атрибуцию и пост-анализ. Сейчас у вас server-side (серверная) аналитика, cookieless-окружение, MMM вместо last-click — и единственное, что остаётся, это качество вопроса, который вы задаёте рынку.

Поэтому мой рецепт на 2026 звучит просто: не начинайте эксперимент с вопроса «что будем менять?». Начинайте с вопроса «что мы хотим узнать и как поймём, что узнали?». Если команда не может за 10 минут сформулировать это в одно предложение — эксперимент пока не нужен, нужен discovery (исследование).

А в ваших командах как соотносятся «гипотезы ради знания» и «гипотезы ради действия»?

— @ExperimentationRoom