AB-тест сломается раньше статистики, если перепутать гипотезу и метрику

AB-тест сломается раньше статистики, если перепутать гипотезу и метрику

Гипотеза должна отвечать на один вопрос: что именно мы меняем и почему это должно повлиять на поведение. Если вместо этого писать «проверим новый дизайн», тест превращается в сбор шума.

Перед запуском проверьте 4 вещи:
— primary metric одна, а не три «главных» сразу
— есть guardrail-метрики: отказ, время до действия, выручка на сессию
— заранее задан минимально значимый эффект, а не «поймём по ходу»
— сегменты не режутся после просмотра результата

Самая частая ошибка — остановить тест, когда график «похоже, победил». Это не эксперимент, а визуальная вера в случайность. Для корректного вывода нужны заранее заданные длительность, выборка и правило остановки. Иначе вы ловите ложные победы на коротком окне.

Ещё один плохой паттерн: менять одновременно несколько элементов и потом спорить, что именно дало эффект. В таком тесте победитель есть только на слайде. В продукте остаётся смесь факторов, которую нельзя повторить.

Если цель — повторяемый рост, начинайте не с креатива, а с дизайна эксперимента: одна гипотеза, одна метрика, одна логика остановки. Это скучно, зато потом не приходится объяснять, почему «лифт» исчез на следующем запуске.