Вакансия тимлид нутра-команды — роль и вилка

Экспериментальная единица: что именно мы тестируем

Экспериментальная единица — это минимальный объект, на который распространяется воздействие в A/B-тесте: пользователь, сессия, аккаунт, магазин, регион или даже команда продаж. Иначе говоря, это уровень, на котором мы назначаем вариант А или В и затем измеряем эффект.

Её часто путают с единицей наблюдения. Разница простая: экспериментальная единица — на что мы воздействуем; единица наблюдения — что потом считаем в данных. Например, в B2B-тесте рассылку можно отправлять на уровень аккаунта, а считать открытия и сделки по контактам внутри него. Если перепутать уровни, появляется смещение и ложная значимость.

**Типичные ошибки:**
— назначать тест на пользователя, а сравнивать результат как будто рандомизация была на уровне компании;
— допускать «перетекание» эффекта между единицами, например, когда один клиент видит обе версии;
— менять единицу теста по ходу эксперимента;
— выбирать слишком мелкую единицу там, где решение принимается выше по иерархии.

Пример: в e-com промо можно тестировать на уровне заказа, если задача — проверить реакцию на скидку в корзине. Но если акция влияет на возвраты и повторные покупки, правильнее брать единицей магазин или когортy клиентов, иначе краткосрочный прирост может скрыть падение LTV.

— @ExperimentationRoom
Этот пост опубликован в Telegram-канале Вакансия тимлид нутра-команды — роль и вилка (@vakansiya_timlid_nutra). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Вакансии и карьера»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.