<b>А/B-тест в монетизации ломается не на статистике, а на плохой единице измерения</b>

<b>А/B-тест в монетизации ломается не на статистике, а на плохой единице измерения</b>

Если меняете paywall, считайте не только конверсию в оплату. Один и тот же экран может поднять trial-start, но уронить trial-to-paid и в итоге дать просадку LTV. Для подписок смотрите на связку: показ → клик → старт trial → оплата → удержание D7/D30.

Тестируйте один рычаг за раз: цена, порядок планов, текст оффера, триггер trial, социальное доказательство. Если в варианте A и B меняются сразу 3 элемента, вы не поймёте, что именно сработало. Для IAP та же логика: отдельный тест на наборы, бандлы, якорь цены, first purchase offer.

Не режьте тест по ранней конверсии, если продукт живёт на длинном хвосте. В монетизации важны когорты: один экран может давать меньше первых оплат, но выше retention платящих и выше ARPPU. Сравнивайте не только медиану, но и вклад в LTV по сроку наблюдения.

Минимальный чек-лист: 1) заранее выберите primary metric; 2) зафиксируйте guardrails по retention и refund rate; 3) не останавливайте тест на «красивом» промежуточном графике; 4) проверяйте эффект по гео и источникам трафика отдельно.

Выигрывает не тот тест, где выше CR, а тот, где после платящей когорты остаётся больше денег на пользователя.