Можно ли предсказать победителя A/B-теста по макетам?

Можно ли предсказать победителя A/B-теста по макетам?

GoodUI проанализировал 70 149 предположений пользователей GuessTheTest.com и сопоставил их с фактическими исходами A/B-тестов.

Результат:
— Люди правильно угадывали победивший вариант примерно в 59% случаев.
— Разброс точности по отдельным тестам: примерно от 13% до 94%.
— В другом наборе данных — около 700 предположений из класса Ronny Kohavi — средняя точность составила примерно 48%.

Дополнительный срез: в 51 эксперименте, на которые влияли паттерны GoodUI, положительный исход получили в 71% случаев. Сам автор отмечает, что доказательная сила этого анализа слабее.

Вывод: визуальная оценка варианта может быть немного лучше случайного выбора на одном массиве данных, но не заменяет эксперимент. На другом наборе угадывание оказалось около уровня случайности, а точность между отдельными тестами сильно колебалась.

Гипотеза начинается с паттерна или мнения. Решение о внедрении — только после фактического результата A/B-теста.

Источник: https://goodui.org/blog/beyond-opinions-about-opinions-real-a-b-test-prediction-rates-from-70-000-guesses