<b>Инкрементальность ломают не тесты, а плохая постановка контрольной группы</b>
Инкрементальность отвечает на один вопрос: <i>добавил ли канал продажи сверх базы</i>. Не «кликнул ли человек», а был бы результат без кампании.
Чтобы тест был полезен, нужны 4 вещи: — чёткая гипотеза по каналу; — единица рандомизации: гео, аудитория, дни; — стабильная база до запуска; — метрика, которая живёт дольше окна атрибуции. Иначе вы меряете шум.
Самая частая ошибка — смешать тест и оптимизацию. Если в тесте меняется креатив, бюджет, аудитория и частота, вы не знаете, что именно создало uplift. Ещё одна ловушка: малый объём. При слабом трафике доверительный интервал легко перекрывает эффект, и «победа» оказывается случайностью.
Формула простая: uplift = (Y_test − Y_control) / Y_control. Но считать нужно не только среднее, а и разброс по дням или гео. Если эффект есть только в одном сегменте, это уже не инкрементальность канала, а локальная аномалия.
Перед запуском спросите: что будет контрольной группой, какой эффект минимально важен и сколько наблюдений нужно, чтобы его увидеть. Если на эти вопросы нет ответа, тест лучше не начинать.
Measurement Brand — MMM / incrementality
@measurement_brand_aff
<b>Инкрементальность ломают не тесты, а плохая постановка контрольной группы</b>
Этот пост опубликован в Telegram-канале Measurement Brand — MMM / incrementality. Подписаться можно по ссылке: @measurement_brand_aff.