AB-тесты монетизации ломаются не в статистике, а в постановке гипотезы

AB-тесты монетизации ломаются не в статистике, а в постановке гипотезы

Чаще всего тестируют «цвет кнопки» или «текст оффера», хотя деньги сидят в другом: в цене входа, длине trial, составе плана и моменте показа paywall. Если менять сразу несколько слоёв, вы не поймёте, что именно подняло trial-to-paid или ARPU.

Рабочая схема простая:
— одна гипотеза = один рычаг
— один primary KPI: trial conversion, purchase rate или revenue per visitor
— один guardrail: retention D7/D30, refund rate, uninstall rate

Ошибка №1 — мерить победу по клику на paywall. Клик может расти, а выручка падать. Ошибка №2 — останавливать тест по раннему шуму: у подписок конверсия часто «дозревает» после нескольких касаний и напоминаний. Ошибка №3 — смешивать новые и возвращающиеся сегменты, хотя у них разная чувствительность к цене и офферу.

Перед запуском проверьте три вещи: где начинается экспозиция, кого вы исключаете, и какой период нужен до финального решения. В монетизации важнее не «значимо лучше», а «лучше без просадки LTV и удержания».

Если тест нельзя описать одной фразой, его нельзя и интерпретировать. Сначала режьте гипотезу до одного изменения, потом считайте эффект на деньги.