Uplift в тесте — не «сколько заработали», а оценка с минным полем

Увидел +4% к конверсии и уже тащишь фичу в rollout? Стоп. Uplift — это не факт из бухгалтерии, а оценка эффекта на выборке. У неё есть шум, доверительный интервал и шанс быть красивой галлюцинацией данных.

Перед интерпретацией проверь:
— абсолютный эффект: +10% относительно может быть +0,02 п.п., мусор для бизнеса;
— интервал: если он широкий, ты не «нашёл рост», ты плохо измерил;
— guardrails: рост целевой метрики ценой ретеншена, маржи или latency — не победа;
— SRM и логирование: кривое распределение трафика убивает весь uplift.

Не путай средний uplift с эффектом для всех. Сегменты могут тянуть в разные стороны: новые пользователи растут, старые проседают, платящие молчат. Но сегменты смотри как диагностику, а не как автомат для p-hacking.

Нормальная формулировка звучит так: «оценка эффекта X, интервал Y, риски Z, решение W». Если в выводе только «+4%, катим» — это не интерпретация, это азарт с дашбордом.