Brand lift полезен только если вы знаете, кого и с кем сравниваете
Brand lift измеряет не «ощущение бренда», а разницу в знании, намерении или предпочтении между exposed и control. Если контроль плохой, вы меряете шум. Если выборка мала, доверительный интервал съедает эффект. Если в опрос попали уже лояльные, lift будет красивым и бесполезным.
Что нужно до старта:
— чётко выбрать метрику: ad recall, awareness, consideration, purchase intent
— заранее определить единицу сравнения: человек, домохозяйство, гео
— исключить пересечение с другими кампаниями, иначе эффект смешается
— задать минимально заметный эффект, который вообще имеет смысл искать
Счёт простой: lift = (p_exposed − p_control) / p_control. Но смотреть надо не только на сам lift, а на его разброс. Если разница 2 п.п., а ошибка 3 п.п., у вас нет измеримого результата, только намёк. Для бренд-эффекта важнее стабильность замера, чем «красивый» рост.
Где метод ломается: при маленьком трафике, слабой рандомизации, длинной воронке и опросах с плохим таргетингом. Тогда бренд lift превращается в отчёт о том, кто чаще ответил, а не о том, что сдвинуло восприятие.
Если хотите считать бренд по-взрослому, сначала проверяйте дизайн теста, и только потом смотрите на процент роста.
Measurement Brand — MMM / incrementality
@measurement_brand_aff
Brand lift полезен только если вы знаете, кого и с кем сравниваете
Этот пост опубликован в Telegram-канале Measurement Brand — MMM / incrementality. Подписаться можно по ссылке: @measurement_brand_aff.