<b>AB-тест ломается не в статистике, а в постановке гипотезы и единице рандомизации</b>

<b>AB-тест ломается не в статистике, а в постановке гипотезы и единице рандомизации</b>

Если тестируете кнопку, но рандомизируете по сессии, пользователь может увидеть обе версии и «смазать» эффект. Если меняете сразу заголовок, оффер и форму, вы уже не понимаете, что именно повлияло на конверсию.

В нормальном тесте заранее фиксируют:
— одну метрику-решение и 1–2 guardrail-метрики;
— минимально значимый эффект, а не «хотим рост»;
— правило остановки до старта, а не после первых красивых цифр.

Самая частая ошибка — сравнивать варианты, пока не набрали нужный объём. На раннем шуме легко увидеть иллюзию лифта, а потом она исчезает при доборе выборки. Второй класс ошибок — запускать тест на слишком узком сегменте и потом делать выводы для всего трафика.

Ещё один полезный фильтр: если изменение затрагивает несколько экранов или каналов, AB-тест может быть слабым инструментом. Тогда нужен квазииcследовательский дизайн, иначе вы измеряете не эффект, а смесь эффектов.

Правило простое: сначала единица рандомизации, потом метрика, потом длительность и только затем креатив. Иначе эксперимент даёт не ответ, а красивую случайность.