Почему A/B тест монетизации ломается не в статистике, а в дизайне эксперимента

Почему A/B тест монетизации ломается не в статистике, а в дизайне эксперимента

Если тестите paywall, мало сравнить два экрана. Нужно заранее зафиксировать: где показывается экран, кто попадает в эксперимент, какой триггер у варианта A и B, и на какой метрике принимается решение. Иначе вы сравниваете не paywall, а разные пользовательские пути.

Главные ошибки:
— смешивают новые и старые пользователи в одной выборке;
— меняют сразу цену, оффер и порядок карточек;
— смотрят только trial-to-paid, игнорируя refund и churn;
— останавливают тест по раннему всплеску конверсии.

Для монетизации важнее не «кто кликнул», а сумма эффектов по воронке: показ → клик → trial → paid → удержание. Часто вариант с чуть хуже стартовой конверсией дает выше LTV, если после покупки у него меньше отвал на D7/D30. Поэтому основной KPI лучше считать как revenue per exposed user, а не только CR в оплату.

Хороший тест — это один гипотезный рычаг за раз: текст цены, длина trial, визуальный акцент, порядок планов, социальное доказательство. Тогда вы понимаете, что именно сдвинуло ARPU, а не надеетесь на «магический» рост.

Сначала чините дизайн эксперимента, потом креатив. Иначе вы оптимизируете шум, а не монетизацию.