AB-тест легко сделать «значимым» и почти бесполезным — если сломать постановку

AB-тест легко сделать «значимым» и почти бесполезным — если сломать постановку

Частая ошибка не в статистике, а в дизайне теста:
— меняют сразу несколько элементов;
— делят трафик на слишком много вариантов;
— останавливают эксперимент, как только увидели p < 0,05.

Если в варианте A кнопка, заголовок и форма, вы не узнаете, что именно дало эффект. Если в выборке мало трафика, доверительный интервал будет шире самого лифта. А при ранней остановке вы почти гарантированно ловите шум, а не эффект.

Перед стартом фиксируйте:
— одну гипотезу на один тест;
— primary metric, а не «посмотрим всё»;
— минимальный эффект, который вообще имеет смысл для бизнеса;
— правило остановки до запуска, а не после первых цифр.

Ещё один системный провал — тестировать то, что уже не повторится: всплывающий баннер в сезонный пик, редизайн без контроля источников трафика, локальный эксперимент на странице, где половина пользователей приходит из другого канала с другой мотивацией.

Хороший AB-тест отвечает не на вопрос «вариант победил?», а на вопрос «при каких условиях это можно масштабировать, и не исчезнет ли эффект при следующем прогоне».