Эксперименты с ценой ломаются не из-за статистики, а из-за плохой конструкции теста

Эксперименты с ценой ломаются не из-за статистики, а из-за плохой конструкции теста

Если менять только цифру на лендинге, можно получить «победителя» по выручке и тут же убить конверсию в оплату. В pricing-тесте важно заранее решить, что вы оптимизируете: revenue per visitor, ARPPU, paid conversion, LTV payback или долю апгрейдов. Один тест не должен одновременно проверять и цену, и упаковку, и оффер.

Дальше — минимальный набор правил:
— тестируйте не одну цену, а диапазон или структуру тарифов;
— держите неизменными трафик, позиционирование и порядок планов;
— не смешивайте новых и возвращающихся пользователей;
— смотрите не только на стартовую конверсию, но и на отток, апгрейды, возвраты.

Самая частая ошибка — считать, что рост ARPU автоматически означает рост бизнеса. Если higher price снижает долю входа в воронку, а потом ещё и ухудшает удержание, итоговый revenue через когортный срок может стать ниже. Поэтому сравнивайте когорты на горизонте, который покрывает хотя бы один цикл оплаты или ключевое окно использования продукта.

Хороший pricing-experiment отвечает на один вопрос: «Какая монетизация лучше при том же источнике спроса?» Если ответа нет, значит это не тест цены, а набор изменений, который нельзя интерпретировать.