AB-тест цены ломается не на статистике, а на дизайне выбора

AB-тест цены ломается не на статистике, а на дизайне выбора

Если в тесте у вас одна и та же аудитория видит старую и новую цену вперемешку, вы почти наверняка меряете не price elasticity, а путаницу. Для pricing-теста важны три вещи: одинаковый канал привлечения, одинаковый value metric и изоляция пользователей по variant ID.

Что чаще всего убивает валидность:
— в тест попадает смешанный трафик из разных источников;
— меняют сразу цену, упаковку и оффер;
— считают только конверсию в покупку, игнорируя revenue per visitor и churn;
— не смотрят на смещение по планам: дешёвый тариф может каннибализировать дорогой.

Хорошая схема — тестировать не «дороже/дешевле», а структуру выбора: якорь, границы тарифов, annual-vs-monthly, bundle vs single. Так вы увидите, где растёт ARPU, а где цена просто переводит людей в нижний план.

Если коротко: сначала изолируйте пользователя и метрику, потом меняйте цену. Иначе вы оптимизируете шум, а не монетизацию.