Multi-armed bandit и A/B-тест: не путайте инструмент с задачей

Multi-armed bandit и A/B-тест: не путайте инструмент с задачей

Когда нужен жёсткий ответ «вариант A лучше B», берите классический A/B. Он фиксирует доли трафика, даёт понятный p-value или Bayesian probability и отвечает на вопрос о разнице между вариантами. Это подходит для лендингов, где важна чистая оценка эффекта: форма, CTA, оффер, порядок блоков.

Multi-armed bandit полезен, когда цель — не доказать гипотезу, а быстрее перераспределять трафик в сторону лидера. Он экономит потери на слабом варианте, но усложняет интерпретацию результата: трафик уезжает неравномерно, а сравнение с классическим тестом становится грязнее.

Практически:
• если у вас один важный KPI и нужен статистически чистый вывод — A/B
• если вариантов 3-5 и каждый час трафика дорог — bandit
• если тест короткий и трафика мало — bandit часто «съедает» шанс увидеть реальный эффект
• если нужна запись в бэклог и решение для команды — A/B надёжнее

Есть ещё ловушка: bandit почти всегда выигрывает в операционном смысле, но не всегда даёт корректный ответ на вопрос «насколько вариант лучше». Для CRO это критично, потому что без оценки эффекта вы не понимаете, стоит ли масштабировать решение или это просто удачная перераспределённая выборка.

Вывод простой: A/B — для измерения, bandit — для эксплуатации. Сначала измерьте, потом оптимизируйте распределение трафика.