GoodUI собрал 40+ LinkedIn-опросов по дизайну экспериментов за 2 года. Это не замена A/B-тестам и не академиче

GoodUI собрал 40+ LinkedIn-опросов по дизайну экспериментов за 2 года. Это не замена A/B-тестам и не академическая выборка, но полезный срез мнений людей из in-house experimentation команд, платформ и агентств.

Самый практичный блок — про unequal allocation: когда трафик делят не 50/50 между контролем и вариацией.

Важно: это не «бесплатный способ ускорить тест». Ron Kohavi отдельно предупреждал автора про tradeoffs и challenges такого подхода и указал на section 7 в paper “A/B Testing Intuition Busters”.

Также Valerii Babushkin и Craig Sexauer направили автора к статье, где разбирается unequal allocation control/variation в экспериментах.

Вывод для лендингов и арбитража:
если тестируете оффер на дорогом трафике, соблазн дать меньше пользователей в рискованную вариацию понятен. Но решение надо считать, а не выбирать интуитивно: неравное распределение может снизить риск, но усложняет интерпретацию и дизайн эксперимента.

Хорошая тема для отдельного разбора: когда 50/50 остаётся оптимальным, а когда allocation можно двигать.

Источник: https://goodui.org/blog/40-linkedin-poll-results-on-experimentation