Progression metrics в A/B-тестах: можно ли смотреть на add-to-cart вместо продаж

Progression metrics в A/B-тестах: можно ли смотреть на add-to-cart вместо продаж

GoodUI разобрал несколько выборок по корреляции промежуточных метрик с финальными sales/orders.

Что нашли:

— Michael St Laurent из Conversion в 2023 анализировал около 200 A/B-тестов: add-to-cart коррелировал с orders
— Корреляция по всем экспериментам без фильтра по значимости: 35%
— Если брать только тесты, значимые по orders: до 66%

Дальше GoodUI расширил проверку:

1. Checkout visits vs sales
533 эксперимента:
R = 0.6085
p-value близко к 0

2. Более широкий набор progression metrics
119 A/B-тестов:
R = 0.5085
статистическая значимость выше

3. Adds-to-cart + sales в одном тесте
44 эксперимента:
R = 0.4983
статистически значимо

Вывод: промежуточные метрики не равны деньгам, но игнорировать их тоже нельзя. Корреляция средняя: достаточно, чтобы использовать add-to-cart / checkout visits как ранний сигнал, но недостаточно, чтобы останавливать тест и объявлять победителя без sales/orders.

Практически: progression metrics полезны для диагностики воронки и приоритизации гипотез. Финальное решение — по бизнес-метрике, особенно если эффект небольшой.

Источник: https://goodui.org/blog/do-adds-to-cart-or-progression-metrics-correlate-with-sales-in-a-b-tests