A/B-эксперимент, который мы «почти сделали»: почему я больше не доверяю одному клику

A/B-эксперимент, который мы «почти сделали»: почему я больше не доверяю одному клику

В Optimizely/VWO/Google Optimize я видел одну и ту же ловушку: команда ставит эксперимент, смотрит на изменение конверсии “посетитель → целевое действие”, а потом гордо фиксирует победу — хотя реальная проблема лежит в другом месте в воронке.

Мой главный тезис 2026 года: **выигрыш одной метрики без проверки каскада — это обычно не рост выручки, а перераспределение**. Особенно в B2B и e-commerce, где последние клики и так “размыты” privacy-first логикой (server-side события, прирост через incrementality, MMM). В такой реальности “целевое действие” часто превращается в удобный суррогат.

Что мы делаем теперь иначе (и это экономит недели работы):

1) Мы заранее проектируем связку метрик, а не одну главную
— primary: действие (например, отправка формы/запуск демо)
— guardrail: качество (например, доля отказов на следующем шаге, скорость ответа sales, конверсия в SQL)
— downstream: ценность (например, участие в квалификации, старт пилота, retention-метрики)

2) Проверяем эффект на уровне сегментов не “по площадкам”, а по поведению
Один дизайн может “помогать новичкам” и “мешать тем, кто уже понимает продукт”. На практике я чаще всего вижу две встречные кривые: средняя конверсия растёт, но растёт и доля некондиционных лидов — и в итоге SQL/выручка не сдвигаются.

3) Добавляем сценарий “метрика выросла — а деньги нет”
Это не формальность. Это тест на то, что изменения не ухудшили качество. В одном из наших экспериментов по посадочной для B2B мы получили +6–8% к заполнению формы. На графике следующего шага доля “нецелевых” обращений выросла на ~10%. Итог по SQL оказался около нуля — и это было не “шумом”, а эффектом выбора аудитории. Победитель по primary проиграл по downstream.

Почему я уверен в этом подходе
Потому что конкуренция смещается в концепции, а контент в эпоху AI-overviews работает как часть навигации пользователя: человек может кликнуть охотнее, но смысла “дойти до покупки/контракта” может не появиться. Тестирование становится измерением воронки, а не кнопки.

Если вам нужно правило в одно предложение: **победа в A/B — только после того, как вы подтвердили каскад (primary → guardrail → downstream), а не один шаг**.

Если хотите, напишите вашу “primary-метрику” и тип бизнеса (B2B или e-commerce) — я предложу пример каскада метрик под вашу ситуацию и где чаще всего прячется подмена роста.