Эксперимент не равен тесту на значимость

Эксперимент не равен тесту на значимость

В маркетинге до сих пор живёт удобный миф: если у команды есть A/B-тест и p-value ниже 0,05, значит эксперимент «состоялся». Откуда он взялся? Из эпохи, когда аналитикам нужно было быстро отделять случайный шум от сигнала, а бизнесу — получать простое «да/нет». Формально всё выглядело дисциплинированно, и эта рамка прижилась.

Но в 2026 году этого уже недостаточно. Почему? Потому что проблема эксперимента не в том, как красиво посчитан p-value, а в том, отвечает ли он на бизнес-вопрос. В B2B лидогенерации теперь важнее не просто рост конверсии в форму, а влияние на воронку выручки и связку маркетинг–sales–customer success. В performance среда стала privacy-first, last-click теряет авторитет, а в контенте и SEO ценность смещается к собственной экспертизе и тематическому авторитету. На таком фоне «значимо / незначимо» без контекста часто даёт ложное чувство контроля.

**Эксперимент — это не статистический ритуал, а управленческое решение.**

Что вместо мифа:
— начинать не с гипотезы «что протестируем», а с решения «что будем менять, если эффект есть»;
— заранее фиксировать метрику эффекта, окно наблюдения и критерий остановки;
— смотреть не только на средний эффект, но и на сегменты, качество трафика, downstream-метрики и стоимость ошибки;
— считать эксперимент успешным только тогда, когда он улучшает систему, а не просто проходит порог значимости.

Иначе команда учится не принимать решения, а коллекционировать красивые отчёты.

— @ExperimentationRoom

@DTCeconomicsRu разбирают это с практической стороны