Pricing-тесты ломаются не на математике, а на выборе метрики и сегмента

Pricing-тесты ломаются не на математике, а на выборе метрики и сегмента

Если тестируете цену, сначала ответьте на 3 вопроса:
— какую именно гипотезу проверяем: выше ARPU, больше конверсия, лучше LTV;
— где будет эффект: на первом платеже, апсейле или продлении;
— какой сегмент нельзя трогать, чтобы не убить органику и продажи в премиум-аудитории.

Главная ошибка — мерить только выручку за короткое окно. Цена может поднять checkout rate, но уронить качество трафика, возвраты или ретеншн. Поэтому смотрите не на один показатель, а на связку: conversion to paid + churn/retention + net revenue per visitor. Иначе победит вариант, который красиво выглядит на лендинге и плохо живёт в когортах.

Ещё один риск — тестировать сразу цену, упаковку и value metric. Тогда вы не поймёте, что именно сработало: сумма, лимит функций или единица тарификации. Разносите изменения по слоям: сначала упаковка, потом value metric, потом уровень цены. Так меньше шансов получить ложный рост.

Если в эксперименте есть разные сегменты, держите тест стратифицированным: new vs returning, high-intent vs low-intent, mobile vs desktop. Иначе один крупный сегмент может «съесть» эффект всей выборки. Для pricing это особенно важно: средняя температура по продукту часто скрывает провал в самом дорогом сегменте.

Хороший pricing-тест отвечает не на вопрос «кто кликнул», а на вопрос «какие когорты останутся и заплатят больше».