Инкрементальность ломается не в эксперименте, а в постановке вопроса

Инкрементальность ломается не в эксперименте, а в постановке вопроса

Инкрементальность отвечает на один вопрос: добавил ли канал продажи сверх того, что случилось бы и без него. Для этого нужны 3 вещи: тестовая и контрольная группы, стабильный период измерения и заранее заданная метрика — выручка, заказы, лиды, а не «охват» или CTR.

Базовая схема проста:
— делим аудиторию, регионы или время на test/control;
— ограничиваем пересечение между группами;
— считаем разницу в конверсии или выручке: lift = (Test - Control) / Control.
Если lift положительный, канал дал инкремент. Если нет — он мог лишь забирать уже готовый спрос.

Но метод ломается, когда группы не равны. Типовые ошибки: маленькая выборка, сезонный спрос внутри окна, разный медиамикс в test/control, утечки между сегментами. Тогда вы измеряете не эффект канала, а шум распределения бюджета. Ещё одна ловушка — слишком короткий тест: для бренд-каналов отклик часто запаздывает, и ранний срез занизит эффект.

Хорошая проверка инкрементальности — это не «был ли рост», а «можем ли мы исключить альтернативные причины роста». Если нет чистого контроля и достаточного объёма, эксперимент лучше не запускать: он даст красивую таблицу и плохое решение.