Почему A/B-тесты умирают не от сложности, а от плохой постановки вопроса

Почему A/B-тесты умирают не от сложности, а от плохой постановки вопроса

Я всё чаще вижу одну и ту же ошибку: команды запускают эксперимент не для того, чтобы принять решение, а чтобы «сделать A/B». Формально всё правильно — гипотеза, контроль, метрика, p-value. По сути — имитация культуры экспериментов.

В 2026 году это особенно заметно. Когда трафик дорожает, last-click всё хуже объясняет вклад каналов, а креативы генерируются на потоке, ценность эксперимента смещается с «проверить кнопку» на «понять механизм роста». И вот здесь A/B-тесты часто ломаются не на статистике, а на уровне вопроса.

Моё наблюдение из практики: в большинстве команд около 60–70% тестов отвечают на слишком узкий вопрос. Например, «какой заголовок лучше?» вместо «какой аргумент повышает конверсию у нужного сегмента?» Разница принципиальная. Первый вариант даёт локальную оптимизацию, второй — знание, которое можно масштабировать на лендинг, письмо, рекламу и sales-материалы.

Я считаю, что зрелая культура экспериментов строится не вокруг количества тестов, а вокруг качества решений. Если эксперимент не меняет поведение команды, он почти бесполезен. Если меняет — даже проигрышный результат окупается, потому что экономит месяцы на повторении ошибки.

Что я бы проверял перед запуском любого теста:
— можно ли принять решение без него;
— какой управленческий вопрос он закрывает;
— что именно мы узнаем, если победит вариант B;
— применимо ли это знание за пределами одного экрана или одного канала.

В аналитике и MarTech сейчас выигрывают не те, кто умеет считать значимость, а те, кто умеет формулировать проверяемые бизнес-вопросы. Это и есть настоящая экспертиза: не производить больше экспериментов, а делать каждый из них носителем знания.