Uplift не “плюс 3% к метрике”: так ломают выводы после A/B-теста

Uplift не “плюс 3% к метрике”: так ломают выводы после A/B-теста

Uplift — это разница между группами, а не комплимент фиче. Если контроль вырос на 10%, тест на 13%, uplift = 3 п.п., а не 30% «победы». Перепутал проценты и процентные пункты — уже продал команде фантом.

Перед интерпретацией проверь:
— SRM и качество рандомизации;
— доверительный интервал, а не только p-value;
— baseline: +0,2 п.п. на конверсии 1% и 40% — разные продукты;
— guardrails: выручка могла вырасти за счет боли в ретеншене.

Не называй uplift бизнес-эффектом без пересчета в деньги, пользователей или риск. «+5% к клику» бесполезно, если клики дешевые, downstream мертвый, а эффект съедается сегментом с низкой маржой.

Сегменты — не казино. Сначала общий эффект и заранее заданные срезы, потом гипотезы на будущее. Нашел uplift только у “iOS, новый, пришел из пуша” после 20 разрезов — поздравляю, ты добыл шум.

Вывод: интерпретируй uplift как оценку с неопределенностью и ценой ошибки. Не как трофей для слайда.