Чаще всего команда тестирует «красивый» экран, а меряет только tap-through. В итоге выиграл клик, но проиграли trial-to-paid и LTV. Для paywall надо заранее выбрать одну главную метрику: подписка, ARPPU, revenue per visitor или доля оплат. Иначе эксперимент начнёт оптимизировать не деньги, а промежуточный шаг.
Ещё одна ошибка — смотреть только на общий результат по всей воронке. В монетизации эффект часто сидит в срезах: новые vs возвращающиеся, iOS vs Android, high-intent vs low-intent, страны с разной ценой. Один и тот же paywall может поднять конверсию у «тёплых» пользователей и уронить её у новичков.
Правильный тестовый дизайн обычно такой:
— фиксируете primary metric и guardrails;
— заранее задаёте минимальный эффект;
— проверяете не только конверсию, но и удержание после оплаты;
— не меняете одновременно оффер, цену и визуал, если не хотите потерять причинность.
Если эксперимент короткий и без когорты удержания, он почти всегда переоценивает быстрые выигрыши. Монетизация живёт в LTV, а не в одном клике на кнопку. Выигрывает не самый яркий paywall, а тот, который стабильно держит trial-to-paid, ARPU и retention в одном направлении.
Зарплата таргетолога — уровни и условия
@target_salary
AB-тесты в монетизации ломаются не на статистике, а на выборе метрики
Этот пост опубликован в Telegram-канале Зарплата таргетолога — уровни и условия (@target_salary). Все его публикации — на странице канала.
Открыть в Telegram