5 ошибок в A/B-тесте, из-за которых «победитель» часто оказывается шумом

5 ошибок в A/B-тесте, из-за которых «победитель» часто оказывается шумом

A/B-тест ломается не на статистике, а раньше — на постановке. Если сравнивать две версии, но не зафиксировать одну цель, результат потом невозможно интерпретировать.

— Тестируют сразу несколько изменений: заголовок, кнопку и блок доверия. Выиграл вариант — непонятно, какой элемент дал эффект.
— Считают успех по кликам, хотя бизнес-метрика — покупки или заявки. CTR может вырасти, а конверсия вниз.
— Останавливают эксперимент «когда стало красиво». Это почти гарантированный путь к ложноположительному результату.
— Не проверяют сегменты: трафик с рекламы, органика и возвратные пользователи часто ведут себя по-разному.
— Не смотрят на мощность теста и размер выборки. Без этого «нулевой эффект» часто означает «мы не досидели».

Минимальный чек-лист перед запуском:
1. Одна гипотеза — одно изменение.
2. Одна primary-метрика.
3. Заранее заданный порог значимости и срок теста.
4. Достаточная выборка до старта.
5. План анализа сегментов, если они важны для продукта.

Если этого нет, A/B становится не экспериментом, а генератором убедительных случайностей.