<b>Инкрементальность ломается не в тесте, а в постановке вопроса</b>

<b>Инкрементальность ломается не в тесте, а в постановке вопроса</b>

Что измеряет: дополнительный эффект канала, а не его корреляцию с продажами. Нужно задать контроль, период до/после и метрику результата: выручка, лиды, заказы, инкрементальный CAC. Формула простая: lift = (treatment − control) / control.

Для теста нужны 4 вещи: 1) рандомизация или честный holdout; 2) достаточный объём событий; 3) одинаковые правила учёта конверсий; 4) заранее выбранное окно атрибуции. Если хотя бы один пункт плавает, вы измеряете шум, а не эффект.

Типовые ошибки: — тестируют слишком коротко и ловят случайность; — смешивают каналы в одной группе; — оценивают клики вместо инкрементального результата; — меняют креативы и бюджеты внутри теста. Тогда «победитель» чаще всего просто получил больше распределения, а не дал прирост.

Рабочее правило: сначала считаем MDE — минимальный заметный эффект, потом решаем, можно ли вообще запускать тест на этом бюджете. Если нет достаточной мощности, честнее не тестировать, чем получать красивую, но бесполезную цифру.