Инкрементальность — это тест на прирост, а не на корреляцию с продажами

Инкрементальность — это тест на прирост, а не на корреляцию с продажами

Если канал даёт продажи, это ещё не значит, что он создаёт дополнительные продажи. Incrementality testing отвечает на один вопрос: сколько инкремента дал показ, скидка, пуш или канал по сравнению с базой.

Минимальный набор данных простой: тестовая и контрольная группы, окно наблюдения, метрика результата и правило рандомизации. Считаем так: incrementality = (CR или выручка в тесте) − (CR или выручка в контроле). Если нужен относительный эффект, делим разницу на контроль.

Чтобы тест не сломался, проверьте 3 вещи: — группы должны быть сопоставимы до запуска; — в тест не должно утекать влияние через другие каналы; — окно измерения должно покрывать лаг конверсии, иначе вы недосчитаете эффект. Для brand lift логика та же: сравниваем знание, ассоциацию или намерение купить, а не клики.

Где метод ломается: маленькая выборка, слабый сигнал, пересечение аудиторий и «грязная» рандомизация. В таких условиях вы меряете шум, а не прирост.

Если нельзя отделить тест от контроля и набрать достаточный объём, incremental тест превращается в красивую легенду. Сначала проверяйте дизайн, потом — результат.