Multi-armed bandit и A/B-тест — не взаимозаменяемы. Выбор зависит от цели эксперимента

Multi-armed bandit и A/B-тест — не взаимозаменяемы. Выбор зависит от цели эксперимента

Если нужна оценка эффекта, берите классический A/B. Он честнее отвечает на вопрос: вариант B лучше A или нет, и на сколько. Для лендингов, форм и checkout это обычно базовый режим: фиксируете трафик, заранее считаете размер выборки, ждёте p < 0.05 или Bayesian probability >= 95%.

Multi-armed bandit полезен, когда важнее распределять трафик в пользу победителя по ходу теста. Это уместно для очень дорогого трафика, большого числа слабых вариантов или когда проигрывающая ветка быстро сжигает бюджет. Но bandit плохо подходит, если вам нужен чистый ответ для команды, стейкхолдеров или отчёта: он сам меняет доли трафика, и итог сложнее интерпретировать.

Главная ошибка — запускать bandit вместо A/B, когда гипотеза сама по себе не проверена. Если вы не знаете, влияет ли новая форма на CR, bandit не заменит экспериментальную дисциплину. Он лишь ускорит эксплуатацию варианта, который кажется лучше по текущим данным.

Хорошее правило: A/B — для доказательства, bandit — для оптимизации после доказательства. Сначала измеряем эффект, потом распределяем трафик. Так меньше самообмана и меньше шансов назвать случайность “ростом конверсии”.