<b>Почему «лифт +18%» в CRO-тесте ещё не означает рабочую гипотезу</b>

<b>Почему «лифт +18%» в CRO-тесте ещё не означает рабочую гипотезу</b>

В CRO опасно смотреть только на относительный прирост. При низкой базе конверсии +18% может быть разницей в несколько заказов, а доверительный интервал легко пересечёт ноль. Первый фильтр: абсолютный эффект, размер выборки и число целевых событий.

Перед запуском зафиксируйте:
— основную метрику, а не набор «что выстрелит»;
— минимально значимый эффект, ради которого стоит менять интерфейс;
— длительность теста или правило остановки;
— сегменты, которые анализируются отдельно, до старта эксперимента.

После теста не смешивайте статистику с интерпретацией. Если p-значение проходит порог, это ещё не доказывает механизм. Возможно, вариант просто привёл больше дешёвого трафика в один день недели или сломал один браузерный сценарий.

Хорошая CRO-запись выглядит скучно: гипотеза, изменение, трафик, события, доверительный интервал, контрольные метрики и решение. Без этого «победитель» часто становится украшением презентации, а не знанием для продукта.

Если тест нельзя повторить или объяснить через поведение пользователя, относитесь к лифту как к сигналу, а не как к инструкции к релизу.