Статистическая значимость против практической значимости

Статистическая значимость против практической значимости

В экспериментах по оптимизации часто возникает путаница между тем, является ли результат «статистически значимым», и тем, имеет ли он значение для бизнеса.

Статистическая значимость (p-value) — это показатель вероятности того, что наблюдаемая разница в конверсии между вариантами А и Б возникла случайно. Если p-value ниже порога (обычно 0,05), мы отклоняем гипотезу о случайности. Однако это не означает, что эффект велик или полезен.

Практическая значимость (эффект размера) — это реальное влияние изменения на показатели прибыли или LTV (пожизненную ценность клиента). В эпоху RevOps-подхода, когда мы фокусируемся на выручке, а не просто на кликах, важно учитывать именно этот параметр.

Типичная ошибка — масштабирование изменений, которые имеют математическую точность, но приносят минимальный прирост дохода, не покрывающий затраты на разработку.

Пример: на сайте крупного e-com проекта кнопка сменила цвет. Статистическая значимость достигнута за 48 часов, конверсия выросла на 0,01%. С точки зрения статистики это успех, но с точки зрения бизнеса — шум, который не влияет на итоговый финансовый результат. Всегда сопоставляйте математический порог с реальной ценностью для компании.