<b>AB-тест ломается не на статистике, а на постановке гипотезы и метрике</b>

<b>AB-тест ломается не на статистике, а на постановке гипотезы и метрике</b>

Гипотеза должна менять только один смысловой элемент: заголовок, оффер, порядок шагов или триггер доверия. Если вы одновременно трогаете и креатив, и цену, и форму — тест уже не отвечает на один вопрос.

Дальше фиксируйте:
— primary metric, а не «посмотрим на всё»
— guardrails: отказ, возвраты, время до покупки
— минимальный эффект, который имеет бизнес-смысл
— заранее выбранный горизонт анализа, чтобы не ловить случайные пики 📉

Частая ошибка — остановить тест, когда «победитель» уже виден на графике. Без заранее заданного размера выборки и длительности это почти всегда переоценка эффекта. Ещё хуже — смотреть только на общий CR: иногда выигрыш в клике потом съедается на чек-ауте или в LTV.

Если тестов много, не сравнивайте всё со всем. Иначе вы получите красивую, но шумную витрину из «победителей», где часть эффектов — просто множественные сравнения и удачная выборка.

Проверяйте не дизайн отчёта, а воспроизводимость: можно ли повторить эффект на другой аудитории, в другом сегменте и без ручной подгонки условий.