Когортный анализ после релиза: как не перепутать “эффект маркетинга” с “эффектом продукта”

Когортный анализ после релиза: как не перепутать “эффект маркетинга” с “эффектом продукта”

Маркетолог в SaaS легко попадает в ловушку причинно-следственных связей: вы запустили кампанию, потом увидели рост конверсии или удержания — и почти автоматически записали это в актив канала. На практике же рост может быть следствием релиза продукта, изменения тарифов, исправления онбординга, сезонности или просто миграции аудитории между каналами.

В 2026-м, когда атрибуция становится privacy-first, а last-click всё чаще выглядит как “красивая легенда”, когортный анализ после релиза становится одним из немногих способов вернуть себе уверенность. Но делать его надо правильно: не просто “сравнить до/после”, а разложить динамику по когортам, каналу влияния и фазам продуктового жизненного цикла.

Разберём подход, который помогает отличать эффект маркетинга от эффекта продукта.

Раздел 1. Начните с “правильных” когорт: не по дате регистрации, а по моменту воздействия

Один тезис: когорту нужно определять по моменту, когда пользователь стал подвержен изменениям (маркетинг-касание или продуктовое событие), а не только по дате регистрации.

Пример. Вы запускаете email-цепочку на “новых” за неделю до релиза фичи в продукте. Если построить когорты по дате регистрации, то часть пользователей получит письмо уже после релиза, а часть — до. В итоге кривая удержания будет смешанной: рост может выглядеть как результат письма, хотя на деле первичное включение в продукт (activation) стало проще после релиза.

Как лучше:
— Сформируйте когорты по дате первого маркетингового касания (для маркетингового эффекта).
— Параллельно — по дате первого попадания в релизную версию продукта (для продуктового эффекта). Это часто можно восстановить из аналитики продукта: версия приложения/feature flag/контрольная группа.
— Внутри каждой маркетинговой когорты анализируйте только тех, кто “видел” продукт в определённом состоянии (до/после feature flag).

Минимальная конструкция: cohort = users where first_touch_date in [w] AND product_version_state at time_of_activation in {pre, post}. Тогда вы сравниваете именно то, что нужно.

Раздел 2. Разводите метрики по стадиям воронки: activation, engagement, retention — и не объединяйте их одной цифрой

Один тезис: рост “конверсии” часто происходит из-за изменения поведения на ранней стадии (activation), а маркетинг обычно влияет иначе — через осведомлённость и качество лида. Смешение стадий ломает выводы.

Пример. После релиза вы видите: вырос trial-to-paid. Маркетинг говорит: “это из-за новой рекламной креативной сетки”. Продакт говорит: “это потому что мы сделали шаблоны и сократили время до первого результата”. Кто прав?

Смотрите на последовательность:
— Activation: доля пользователей, у которых впервые случилось ключевое действие за X часов после старта (например, “создали первый проект”, “подключили интеграцию”, “заполнили минимум полей”).
— Engagement: доля пользователей с повторным использованием в первые 7–14 дней.
— Retention: доля пользователей, вернувшихся на 30/60-й день или сохранивших активность.
— Revenue outcome: trial-to-paid или expansion.

Если activation выстрелил сразу после релиза, а engagement/retention растут с лагом — это похоже на продукт. Если activation не изменился, но вырос engagement и retention — вероятнее, вы привели качественную аудиторию (маркетинговый эффект). Если изменилось всё сразу, проверьте: возможно, изменился онбординг, а не рекламная “причина”.

Практическая подсказка: строьте 3 отдельных когортных кубика (activation/engagement/retention). Один “сводный” график почти всегда вводит в заблуждение.

Раздел 3. Добавьте контрфакты: удержание “после” сравнивайте с удержанием “в параллельных мирах”

Один тезис: simple before/after почти всегда ошибается; лучше использовать сравнение с параллельными группами, где воздействие было другим.

Пример. Вы релизите новую onboarding-логику. Одновременно меняете кампанию в контенте. Прямое сравнение “до после” покажет рост — но непонятно, от чего.
…