Research в measurement: 6 вопросов, которые убивают «красивые» выводы

Research в measurement: 6 вопросов, которые убивают «красивые» выводы

Research — это не «сделать опросик и поверить в магию». Если вы исследуете поведение, креатив или атрибуцию, сначала проверьте базу:
— кого вы вообще спросили и почему именно их;
— как формулировка вопроса могла подсунуть ответ;
— не перепутали ли вы мнение с действием;
— есть ли у гипотезы контрольная группа или хотя бы честный baseline.

В mmm и incrementality особенно любят строить выводы на данных, которые не умеют отвечать на главный вопрос: «а что бы было без вмешательства?». Если research не отделяет корреляцию от причинности, он быстро превращается в презентацию для внутреннего успокоения. Алгоритмы тут ни при чём — ломается дизайн исследования.

Ещё одна классика: собрали много ответов, но забыли про сегменты. То, что работает на heavy users, может быть шумом для новых. То, что выглядит как «всем зашло», часто держится на одной группе, которая и так была готова купить. Без разрезов по аудитории, каналу и сценарию использования выводы обычно декоративные.

И да, хороший research всегда начинается с вопроса, который можно опровергнуть. Если результат нельзя проверить через эксперимент, geo-lift или повторный замер, это не исследование, а красивая легенда про attribution. С таким подходом можно годами обсуждать, почему всё выросло, и ни разу не узнать, что реально сработало.

Сначала режьте bias, потом делайте выводы. Иначе у вас не research, а релиз года для отдела самообмана — может и не взлетит.