Инкрементальность ломается не на тесте, а на плохой постановке

Инкрементальность ломается не на тесте, а на плохой постановке

Инкрементальный тест отвечает на один вопрос: добавила ли кампания продажи сверх того, что было бы без неё. Не «сколько атрибуция приписала», а именно прирост. Для этого нужны две группы: тест и контроль, одинаковые по логике спроса, географии или аудитории.

Минимальный набор данных простой: период до и после, экспозиция, целевая метрика, размер групп. Дальше считается uplift = (Yтест − Yконтроль) / Yконтроль. Если используете нормировку на базу, сравнивайте не абсолютные продажи, а приращение на единицу трафика, бюджета или охвата.

Главные провалы:
— контроль уже видел рекламу;
— группы разъехались по сезонности;
— тест слишком короткий, чтобы поймать эффект;
— метрика слишком шумная для малого трафика;
— в тесте меняли креатив, оффер и частоту сразу.
Тогда вы измеряете не канал, а смесь изменений.

Если бюджета мало, лучше тестировать не весь бренд, а один сегмент, один регион или одну гипотезу. Инкрементальность любит чистый дизайн и не прощает лишних переменных. Чем проще постановка, тем честнее ответ.