Когортный анализ (Cohort analysis) в A/B-тестах: что измеряет и чем отличается от сегментации

Когортный анализ (Cohort analysis) в A/B-тестах: что измеряет и чем отличается от сегментации

Когортный анализ — это метод сравнения поведения пользователей/клиентов по группам, объединённым общим «началом» (например, неделя первой покупки, дата регистрации, первый визит после редиректа). В контексте A/B-тестов он отвечает на вопрос: как изменение влияет не только на конверсию в моменте, а на динамику метрик через дни/недели (retention — удержание, повторные покупки, время до действия).

Чем отличается от сегментации:
— Сегментация делит аудиторию по признакам (канал, устройство, страна) и сравнивает метрики сразу в срезах.
— Когортный анализ строит линии во времени для каждой группы «по событию старта». Поэтому он лучше ловит отложенный эффект: например, улучшение онбординга в вариации A проявится в активации на 3–7 день.

Типичные ошибки:
— Смешивание когорт с разными периодами эксперимента (иногда путают «день X теста» и «день после первого события»).
— Использование долей без нормализации: сравнивают когорты разного размера.
— Утверждение победителя по метрикам ранней когорты, игнорируя, что основная часть выручки приходит позже (важно в e-com при давлении на средний чек и фокусе на LTV — пожизненную ценность клиента).

Пример:
В тесте Optimizely/VWO/аналогов меняете форму запроса демо в B2B. Конверсия в MQL (маркетинг-квалифицированный лид) выросла. Когортный анализ показывает: когорты, пришедшие в период вариации B, спустя 14 дней чаще превращаются в SQL (sales-qualified lead) и реже «замирают» после первого взаимодействия — значит, улучшение не случайное, а с обучающим эффектом на качество лидов.

Один термин — один вопрос: «как меняется траектория по времени после общего старта?»