<b>Инкрементальный тест без самообмана: что проверить до запуска, чтобы не выбросить бюджет</b>

<b>Инкрементальный тест без самообмана: что проверить до запуска, чтобы не выбросить бюджет</b>

Инкрементальность отвечает на один вопрос: <i>сколько продаж/лидов дало воздействие сверх базы</i>. Не “сколько было кликов”, а <b>какой прирост</b> появился из-за рекламы.

Чтобы тест был полезен, нужны 3 вещи:
— контрольная группа, которая не видит воздействие;
— сопоставимость групп до теста;
— окно наблюдения, достаточное для покупки, а не только для клика.

Базовая логика проста:
<b>lift = (T - C) / C</b>,
где T — результат в тестовой группе, C — в контрольной.
Если считаем инкремент в абсолюте: <b>incremental = T - C</b>.

Но математика ломается, если группы уже разные:
— в тест чаще попадают более “горячие” аудитории;
— контроль подсматривает рекламу через другие каналы;
— короткое окно ловит шум, а не эффект;
— KPI меряют слишком рано, до окончания цикла покупки.

Перед запуском проверьте 4 вещи: сегментацию, пересечение аудиторий, длину окна и выбранный KPI. Иначе тест измерит не инкрементальность, а кривую раздачу трафика.

Если не можете честно изолировать контроль — лучше не делать вид, что это эксперимент.