CRO ломается не в дизайне, а в постановке теста — 7 типовых ошибок

CRO ломается не в дизайне, а в постановке теста — 7 типовых ошибок

Чаще всего эксперимент выглядит «чисто», но ответ на гипотезу уже испорчен. Типовые провалы: — тестируют сразу несколько изменений и потом не понимают, что сработало; — останавливают тест по первому пику; — сравнивают сегменты с разным трафиком; — не фиксируют primary metric заранее.

Вторая группа ошибок — в данных. Если часть аудитории видит старый вариант, а часть новый из-за кеша, логина или кросс-девайса, вы меряете не A/B, а шум инфраструктуры. Ещё один частый сценарий: воронка короткая, а событие редкое, поэтому даже «лифт» легко укладывается в доверительный интервал и не отличается от нуля.

Третья проблема — интерпретация. Победа по CTR на кнопке не равна победе по выручке. Важно заранее решить, какая метрика главная, какие guardrails не должны просесть, и какой минимальный эффект вообще имеет смысл искать. Иначе команда оптимизирует локальный показатель, а продукт теряет на следующем шаге воронки.

Если тест нельзя объяснить одной фразой «что изменили, где, на какой метрике и при каком размере выборки», это плохой тест. Начинайте не с макета, а с плана измерения: тогда спорить будет не дизайн, а статистика.