AB-тесты чаще ломаются не на статистике, а на постановке гипотезы и метрике

AB-тесты чаще ломаются не на статистике, а на постановке гипотезы и метрике

Если тестируете «кнопку», сначала ответьте: что именно должно измениться — клики, заявки или выручка на сессию. Без этого можно получить лифт в микроконверсии и просадку в бизнес-метрике.

Три типовые ошибки:
— меняют сразу несколько элементов и потом не понимают, что сработало;
— берут слишком маленькую выборку и радуются шуму;
— останавливают тест, когда «уже видно победителя», хотя эффект ещё не стабилен.

Ещё один частый сбой — смотреть только на p-value. Важнее вместе оценивать размер эффекта, доверительный интервал и длительность теста. Если интервал широкий, а трафика мало, победа может исчезнуть при повторении.

Хороший AB-тест отвечает на один вопрос, трогает один главный параметр и заранее фиксирует критерий успеха. Тогда результат можно воспроизвести, а не просто красиво показать в отчёте.