5 ошибок CRO, из-за которых тест выглядит «успешным», а продукт — нет

5 ошибок CRO, из-за которых тест выглядит «успешным», а продукт — нет

CRO ломается не на кнопке, а в постановке эксперимента. Чаще всего проблема в том, что тестируют слишком узкий элемент и забывают про путь пользователя целиком.

— Меняют один экран, но измеряют только клики. Если checkout стал короче по CTR, а брошенных заказов больше, лифт фиктивный.
— Смешивают новые и возвратные сессии. Для них разная мотивация, и средний эффект прячет противоположные реакции.
— Запускают тест без расчёта MDE и нужной выборки. При слабом трафике «победа» легко оказывается шумом.
— Смотрят на общую конверсию без сегментов: мобильные, new users и high-intent часто ведут себя по-разному.

Ещё одна ошибка — останавливать эксперимент по первому «плюсу». Если не задать минимальную длительность, недельные паттерны и эффект новизны исказят картину.

Хороший тест отвечает на три вопроса: кто попал в выборку, какой метрикой меряем успех и какой эффект вообще считаем значимым. Всё остальное — декорации.