Инкрементальность ломают не тесты, а плохой контроль и короткий горизонт

Инкрементальность ломают не тесты, а плохой контроль и короткий горизонт

Инкрементальность отвечает на один вопрос: сколько дополнительных конверсий дала активность, а не сколько атрибуция приписала ей. Базовая схема проста: делим аудиторию на test и control, смотрим разницу в конверсиях и переводим её в uplift. Формула: uplift = (CR_test - CR_control) / CR_control.

Чтобы тест был полезен, нужны три вещи: случайное распределение, одинаковый доступ к каналу и достаточно длинное окно, чтобы поймать отложенные покупки. Если в control попали «более холодные» пользователи или тест длится слишком мало, вы измеряете не эффект, а шум сегментации. Для бренда это особенно опасно: верх воронки часто даёт задержанный спрос.

Чек-лист перед запуском:
— заранее зафиксируйте primary metric: конверсии, выручку или margin;
— проверьте, что в control нет утечки показов;
— задайте MDE: какой минимальный эффект вам вообще нужен, чтобы тест имел смысл;
— считайте не только lift, но и доверительный интервал.

Если интервал пересекает ноль, победы нет — есть гипотеза. Лучший тест инкрементальности не «доказывает, что канал работает», а честно показывает, где эффект есть, а где его нельзя отличить от шума.