Инкрементальность ломается не на тесте, а на дизайне выборки

Инкрементальность ломается не на тесте, а на дизайне выборки

Инкрементальный тест отвечает на один вопрос: дал ли канал добавочный результат, а не просто забрал чужой спрос. Для этого нужны две группы: test и control, одинаковые по географии, аудитории, времени и сезонности. Если группы разные, вы измеряете не эффект канала, а разницу между группами.

Схема расчёта простая:
lift = (Y_test − Y_control) / Y_control × 100%.
Где Y — продажи, лиды или другой итог. Но формула работает только если у control не было утечки экспозиции, а у test не было «грязных» пересечений с другими каналами. Иначе lift становится смесью медиа-эффекта, каннибализации и случайного шума.

Что проверяем до запуска:
— хватит ли объёма, чтобы поймать минимально заметный lift;
— можно ли реально изолировать контроль;
— совпадают ли baseline-тренды до теста;
— не меняются ли креатив, цена и промо одновременно с тестом. 📉

Если бюджет мал, инкрементальность часто не окупает шум: тест нужен не «для отчёта», а когда цена ошибки выше стоимости эксперимента. Иначе лучше сначала собрать MMM или хотя бы квази-эксперимент с хорошим control.