AB‑тест не спасает плохую гипотезу — он лишь измеряет её точнее

AB‑тест не спасает плохую гипотезу — он лишь измеряет её точнее

Грубая ошибка в экспериментах — путать «есть разница» с «есть смысл». Если изменение не связано с поведением пользователя, тест часто ловит шум: сезонность, состав трафика, каналы, устройство, возврат аудитории.

Перед запуском зафиксируйте:
— одну метрику решения и 1–2 guardrail-метрики;
— минимально заметный эффект, а не «хочется +10%»;
— срок, достаточный для полного цикла поведения;
— правило остановки до старта, без подглядывания в цифры.

Если тестов много, смотрите не только на p-value. Важны размер эффекта, доверительный интервал и практическая цена ошибки. Иногда «победитель» даёт +1,2%, но интервал пересекает ноль, а выигрыш исчезает при разрезе по mobile.

Ещё один частый провал — тестировать сразу несколько идей в одном варианте. Тогда вы не знаете, что именно сдвинуло конверсию: заголовок, форма, порядок блоков или просто смесь факторов.

Хороший AB-тест отвечает на один вопрос. Всё остальное — уже следующий эксперимент.