Экспериментальная единица — это минимальный объект, на который распространяется воздействие в A/B-тесте: пользователь, сессия, аккаунт, магазин, регион или даже команда продаж. Иначе говоря, это уровень, на котором мы назначаем вариант А или В и затем измеряем эффект.
Её часто путают с единицей наблюдения. Разница простая: экспериментальная единица — на что мы воздействуем; единица наблюдения — что потом считаем в данных. Например, в B2B-тесте рассылку можно отправлять на уровень аккаунта, а считать открытия и сделки по контактам внутри него. Если перепутать уровни, появляется смещение и ложная значимость.
**Типичные ошибки:**
— назначать тест на пользователя, а сравнивать результат как будто рандомизация была на уровне компании;
— допускать «перетекание» эффекта между единицами, например, когда один клиент видит обе версии;
— менять единицу теста по ходу эксперимента;
— выбирать слишком мелкую единицу там, где решение принимается выше по иерархии.
Пример: в e-com промо можно тестировать на уровне заказа, если задача — проверить реакцию на скидку в корзине. Но если акция влияет на возвраты и повторные покупки, правильнее брать единицей магазин или когортy клиентов, иначе краткосрочный прирост может скрыть падение LTV.
— @ExperimentationRoom
Вакансия тимлид нутра-команды — роль и вилка
@vakansiya_timlid_nutra
Экспериментальная единица: что именно мы тестируем
Этот пост опубликован в Telegram-канале Вакансия тимлид нутра-команды — роль и вилка (@vakansiya_timlid_nutra). Все его публикации — на странице канала.
Открыть в Telegram