CRO-наблюдение: интуиция по A/B-тестам шумит

CRO-наблюдение: интуиция по A/B-тестам шумит

Что мы видим: GoodUI собрали оценки от 100+ профессионалов: 1 391 предположение по результатам 13 уже завершённых A/B-тестов.

Типичный промах — 2,7 процентного пункта от реального эффекта. При этом в 56% всех оценок люди завышали эффект теста.

Почему это важно для креативов и лендингов: глаз часто видит «сильный угол» там, где в данных эффект скромнее. Особенно если изменение визуально заметное: новый hero, другой оффер-блок, доверительный элемент, порядок секций.

Интересная деталь: знакомство с похожими экспериментами помогало, но не превращало оценку в точный прогноз. У тех, кто видел похожие тесты, медианная ошибка была 2,5 п.п.; у тех, кто не видел — 3,2 п.п.

Где применимо: лендинги, преленды, checkout, UGC-структуры, любые гипотезы где команда спорит «это точно даст аплифт».

Вывод простой: креативный паттерн можно распознать, но эффект лучше не дорисовывать в голове. Даже опытный глаз нуждается в замере.