CRO ломается не на идеях, а на плохой постановке теста и чтении шума

CRO ломается не на идеях, а на плохой постановке теста и чтении шума

Если тестируете лендинг, сначала фиксируйте одно действие: клик, отправку формы, добавление в корзину. Когда в одной гипотезе смешаны заголовок, оффер и кнопка, вы не понимаете, что именно дало сдвиг.

Дальше проверьте базу:
— есть ли достаточный трафик на каждую вариацию;
— одинаково ли распределены источники и устройства;
— не попал ли в эксперимент сезонный всплеск или промо;
— не меняли ли вы ещё что-то на странице параллельно.

Смотрите не только на uplift, но и на доверительный интервал. Если эффект 3%, а интервал широкий и пересекает ноль, это не победа, а шум. Для слабого трафика лучше длиннее тест и меньше гипотез, чем быстрые, но случайные «выигрыши».

Отдельная ошибка — преждевременная остановка. Как только вариант начал лидировать, рука тянется закрыть эксперимент. Но ранний разгон часто откатывается к нулю, когда в выборку попадают будни, новые источники и более холодные пользователи.

Сначала докажите, что эффект воспроизводим на одной метрике и одном сегменте. Потом масштабируйте гипотезу на остальную воронку.