Инкрементальность ломается не в тесте, а до него — вот 5 типовых ошибок

Инкрементальность ломается не в тесте, а до него — вот 5 типовых ошибок

Инкрементality testing отвечает не на вопрос «сколько кликов было», а на вопрос «что добавила реклама сверх естественного спроса». Для этого нужны две группы: тест и контроль, а дальше — сравнение их инкрементального эффекта.

— Нет рандомизации: в тест попадают «теплые» регионы, в контроль — случайные. Тогда разница = не эффект, а смещение.
— Слишком короткое окно: часть продаж приходит с лагом, и тест недосчитывает вклад.
— Пересечение каналов: если одновременно идут search, CRM и промо, вы измеряете смесь, а не один канал.
— Малая база: при маленьком бюджете шум выше эффекта, и выводы становятся статистической лотереей.

Базовая схема простая: baseline = продажи без вмешательства, lift = продажи в тесте − baseline, incrementality rate = lift / расходы. Но baseline нужно строить из сопоставимого контроля, сезонности и тренда, иначе формула красивая, а результат пустой.

Если канал нельзя изолировать, тестируйте не бюджет целиком, а гео, аудиторию или креативный слой. И всегда заранее задавайте MDE: минимальный эффект, который вы вообще способны увидеть. Без этого инкрементальность превращается в дорогую проверку удачи.