GoodUI проверил, насколько CRO-специалисты угадывают эффект A/B-тестов.

GoodUI проверил, насколько CRO-специалисты угадывают эффект A/B-тестов.

Дизайн исследования:
— более 100 профессионалов
— 1 391 прогноз
— 13 уже завершённых A/B-тестов
— в датасете 10 из 13 реальных эффектов были положительными

Главное:
— типичный прогноз промахивался по реальному эффекту на 2.7 п.п. median absolute error
— 56% всех прогнозов были завышением эффекта
— те, кто видел похожие эксперименты раньше, ошибались меньше: median error 2.5 п.п. против 3.2 п.п.

Вывод не про «интуиция не нужна». Скорее так: даже у людей, знакомых с похожими тестами, оценка эффекта остаётся шумной. Опыт снижает ошибку, но не заменяет измерение.

Практический вывод для лендингов: если гипотеза ожидает небольшой lift, руками «на глаз» его почти невозможно надёжно отличить от шума. Нужен тест, достаточный N и заранее выбранный критерий остановки.

Источник: https://goodui.org/blog/experiment-estimation-study