7 ошибок A/B-теста, из-за которых «победитель» часто оказывается шумом

7 ошибок A/B-теста, из-за которых «победитель» часто оказывается шумом

1) Тестируют слишком много изменений сразу. Тогда вы видите эффект, но не понимаете, что именно его создало.
2) Останавливают эксперимент при первом «плюсе». Без заранее заданного размера выборки и правила остановки это почти всегда ловушка.
3) Смотрят только на основную метрику. Если выросла конверсия в клик, но просела выручка на сессию, победа уже не выглядит победой.
4) Смешивают разные сегменты трафика: новый и возвращающийся, mobile и desktop, брендовый и холодный.

Хороший тест начинается не с идеи, а с формулировки гипотезы: что меняем, почему это должно сработать и какую метрику двигаем. Затем — минимально достаточная выборка, срок, сегменты для проверки и заранее решённое правило: когда тест считаем завершённым.

Если эффект держится только в одном маленьком сегменте, это не «универсальный лайфхак», а локальная аномалия. Сильный результат должен переживать пересчёт, срезы и проверку на вторичных метриках.

Привычка проста: перед запуском пишите протокол теста на один экран. Если там нет гипотезы, primary metric и правила остановки, эксперимент ещё не готов.