Brand lift ломается не в опросе, а в дизайне замера — вот 5 типовых ошибок

Brand lift ломается не в опросе, а в дизайне замера — вот 5 типовых ошибок

Brand lift отвечает на один вопрос: выросло ли знание, рассмотрение или намерение после контакта с рекламой. Для этого нужны две группы: exposed и control, одинаковые по базе, но разные по факту контакта. Если группы не сопоставимы, вы измеряете не эффект бренда, а разницу в аудиториях.

1) Нельзя брать контроль «на глаз». Если в control попали более холодные пользователи, lift будет завышен.
2) Нельзя опрашивать всех подряд. Нужна выборка после фильтра по экспозиции, иначе вы ловите шум.
3) Нельзя смотреть только на p-value. Важен ещё baseline: +2 п.п. на низкой базе и +2 п.п. на высокой базе — это разные истории.
4) Нельзя смешивать разные креативы в один вывод, если они решают разные задачи: охват, запоминание, consideration.

Минимальная логика расчёта простая: lift = (Exposed - Control) / Control. Но перед формулой всегда проверяем размер групп, долю незавершённых ответов и одинаковость медиаплана в обеих выборках.

Если бренд lift не проходит проверку на сравнимость групп, его нельзя использовать как доказательство эффективности. Сначала чините дизайн, потом делайте выводы.