AB-тесты монетизации ломаются не на идее, а на метрике и сегментах

AB-тесты монетизации ломаются не на идее, а на метрике и сегментах

Если тестируете paywall, не сравнивайте только trial-start. Он может вырасти, а LTV — упасть из-за более слабого paid-качеcтва. Смотрите связку: view → click → trial → paid → D7/D30 retention.

Дальше три типовые ошибки:
— один вариант получает трафик из более «тёплого» канала;
— тест идёт без разреза по гео, платформе и источнику;
— победителем объявляют экран с коротким окном, не дождавшись отмен и возвратов.

Правильный тест строится вокруг одной гипотезы: меняем только один слой — цену, порядок офферов, длину trial или триггер показа. Если меняете всё сразу, вы не поймёте, что именно сдвинуло конверсию. Для подписок особенно важно считать ARPPU и net revenue, а не только gross installs. 📊

Финал простой: сначала фиксируйте северную метрику, потом делайте сегментацию, и только после этого сравнивайте варианты. Иначе AB-тест монетизации легко превращается в тест случайности.