Инкрементальный тест без самообмана: что проверить до запуска, чтобы не выбросить бюджет

Инкрементальный тест без самообмана: что проверить до запуска, чтобы не выбросить бюджет

Инкрементальность отвечает на один вопрос: сколько продаж/лидов дало воздействие сверх базы. Не “сколько было кликов”, а какой прирост появился из-за рекламы.

Чтобы тест был полезен, нужны 3 вещи:
— контрольная группа, которая не видит воздействие;
— сопоставимость групп до теста;
— окно наблюдения, достаточное для покупки, а не только для клика.

Базовая логика проста:
lift = (T - C) / C,
где T — результат в тестовой группе, C — в контрольной.
Если считаем инкремент в абсолюте: incremental = T - C.

Но математика ломается, если группы уже разные:
— в тест чаще попадают более “горячие” аудитории;
— контроль подсматривает рекламу через другие каналы;
— короткое окно ловит шум, а не эффект;
— KPI меряют слишком рано, до окончания цикла покупки.

Перед запуском проверьте 4 вещи: сегментацию, пересечение аудиторий, длину окна и выбранный KPI. Иначе тест измерит не инкрементальность, а кривую раздачу трафика.

Если не можете честно изолировать контроль — лучше не делать вид, что это эксперимент.