A/B тест — инструмент для измерения каузального эффекта при наличии трафика и стабильной метрики. Но есть ситуации, где он не работает или даёт ложные выводы.
Недостаточно трафика. Если у вас 500 уникальных посетителей в день, тест на 5% прирост займёт несколько месяцев. За это время изменится сезонность, маркетинговые кампании, поведение конкурентов. Результат будет нечистым.
Одиночные события. Онбординг нового корпоративного клиента, первая покупка дорогого товара — когда N слишком мало по определению, статистика не поможет.
Сетевые эффекты. Если действия пользователей влияют друг на друга (социальная сеть, маркетплейс), классический A/B тест даёт смещённые оценки. Нужны кластерные эксперименты.
Радикальные изменения дизайна. Если вы переписываете весь интерфейс — пользователи в старой группе не сравнимы с новой, потому что привыкли к другим паттернам.
В таких случаях используйте: опросы, качественные интервью, анализ воронки, holdout-группы.
Pokermatch партнёрка — обзор
@pokermatch_aff
Когда A/B тест — плохая идея
Этот пост опубликован в Telegram-канале Pokermatch партнёрка — обзор (@pokermatch_aff). Все его публикации — на странице канала.
Открыть в Telegram