Инкрементальность в app install: как понять, даёт ли канал новые установки, а не ворует их

Инкрементальность в app install: как понять, даёт ли канал новые установки, а не ворует их

Проблема простая: MMP показывает атрибуцию, но не отвечает, был ли инстал без рекламы. Для теста не нужна сложная математика — нужен контроль и одинаковые правила для обеих групп.

Что делаем:
— делим аудиторию на test и holdout;
— в test крутим канал, в holdout режем показ или частоту;
— сравниваем не только installs, но и D1/D7 events, ARPU, покупку, регистрацию;
— смотрим uplift: разница между группами, а не абсолютные цифры.

Чтобы тест не сломался:
— одинаковые окна атрибуции;
— один и тот же гео/платформа/креативный микс;
— достаточно объёма, иначе шум съест сигнал;
— не меняем таргет и бюджет внутри теста без причины.

Если uplift по installs есть, а по revenue нет — канал может быть хорош для верхней воронки, но плох для закупки в performance-модели. Если uplift нулевой, а атрибуция рисует CPA в норме, значит часть инсталлов вы бы получили и без спенда.

Считать инкрементальность надо не для красоты отчёта, а чтобы отрезать каналы, которые только перераспределяют атрибуцию.