Почему CRO ломается не в дизайне, а в постановке теста

Почему CRO ломается не в дизайне, а в постановке теста

Частая ошибка в CRO — измерять «улучшение» там, где нет стабильной базы. Если тест запускают на малом трафике, эффект легко путают с шумом, а победитель оказывается случайной вариацией.

Проверьте до старта:
— одна метрика-цель, а не «и клики, и выручка, и заявки»;
— заранее заданный MDE, минимально значимый эффект;
— расчёт выборки до запуска, а не после;
— одинаковую длительность экспозиции для всех вариантов.

Ещё одна проблема — сегменты, которые смешивают в общий результат. Тест может быть нейтральным в среднем и при этом давать сильный провал на мобильных или в новом трафике. Без разрезов по устройству, источнику и типу пользователя вы видите только усреднение.

Если эксперимент завершился «победой», но без доверительного интервала и проверки на неоднородность, это не вывод, а гипотеза для следующего теста. В CRO выигрывает не самый яркий график, а самая чистая постановка.