Пошаговая калибровка MMM, которая не развалится при первом кризисе

Пошаговая калибровка MMM, которая не развалится при первом кризисе

— Начни с чистки ряда маркетинговых инвестиций. Убери медиа-закупки отдельно по гео, устройствам, форматам. Без разбивки по рекламным каналам MMM выдаёт коэффициенты, которые нельзя применить к планированию. Сначала данные, потом модель.

— Собери две линии «контрфактуала» — органику и промо. Первая покажет базовый спрос без платного давления, вторая — насколько выручка ехала на скидках, а не на бренде. Если в промо-период MMM показывает рост вклада ТВ, у вас проблема с разделением сигналов.

— Зафиксируй набор экзогенных переменных заранее. Сезонность, макро-индикатор (например, индекс потребительской уверенности), действия конкурентов, изменения цен. Их нельзя «докидывать» постфактум, иначе модель превращается в подгонку под историю.

— Запусти две модели параллельно — бейесовскую с сильными априорными распределениями и регрессионную без априоров. Сравни вклады каналов: где разница больше 15%, там разбирательство, а не усреднение.

— Проверь адекватность по holdout-периоду. Отрежь последние 8–12 недель, построй модель без них, сверь прогноз с фактом по каждому каналу. MAPE выше 20% на канал — красный флаг.

— Добавь тест на ад нос. Спроси модель: «что было бы без ТВ за 12 недель до пика продаж». Если ответ близок к факту — модель угадывает тренд, а не медиа. Это самая частая ловушка.

— Зафиксируй процесс, а не только результат. Запиши, какие переменные вошли, какие априоры, какой holdout, какие ограничения. Через квартал придёт новый аналитик — без этой записки он начнёт с нуля или, хуже, будет верить коэффициентам, которые вы сами не доверяете.

Калибровка — это не разовая акция перед защитой бюджета. Это регламент: данные → переменные → две модели → holdout → документация. Всё, что выходит за рамки, превращает MMM в дорогой калькулятор для совета директоров.

— @AttributionRoom