AB-тест разваливается не в статистике, а в постановке гипотезы

AB-тест разваливается не в статистике, а в постановке гипотезы

Если гипотеза описывает «сделать лучше», тест почти всегда превращается в шум. Нужны: один изменяемый фактор, понятный механизм влияния и метрика, которая действительно может сдвинуться. Иначе вы сравниваете не варианты, а набор случайных отличий.

Проверьте перед запуском:
— сегмент не размыт: новый и старый трафик, mobile и desktop, бренд и non-brand не смешаны без причины;
— событие измеряется одинаково во всех ветках;
— у вас есть MDE, а не надежда на «лифт»;
— длительность теста покрывает полный цикл спроса, а не удобные три дня.

Самая частая ошибка — остановить тест при первом «значимом» всплеске. Если подглядывать в результаты каждый день, растёт риск ложноположительного вывода. Лучше заранее задать правило остановки: фиксированная длительность или корректный sequential-подход с учётом множественных проверок.

Ещё один провал — тестировать сразу несколько идей в одном экране. Когда меняются заголовок, оффер и CTA, вы уже не знаете, что именно дало эффект. Это полезно только если вы сознательно строите факторный эксперимент и готовы читать взаимодействия.

Хороший AB-тест отвечает не на вопрос «победил ли вариант», а на вопрос «какой механизм работал и где он повторим».