Почему A/B тесты дают противоположные результаты на разных объёмах трафика

Почему A/B тесты дают противоположные результаты на разных объёмах трафика

На 500 кликах вариант B выигрывает на 15%. На 5000 кликах выигрывает вариант A. Это не баг — это закон больших чисел. На малых выборках случайность маскирует истину. Вот что нужно знать.

Минимальный размер выборки зависит от разницы, которую вы ловите. Если конверсия меняется на 1-2%, нужны десятки тысяч кликов. Если на 30%, хватит тысячи. Запускайте тест, пока не наберёте 100+ конверсий в каждом варианте — это базовый минимум. Правило простое: чем меньше ожидаемый эффект, тем больше данных нужно.

Вторая ошибка — останавливать тест, когда "уже видна победитель". Это называется peeking. Если вы смотрите результаты каждый день и выключаете тест при первом значимом скачке, вы гарантированно получите ложноположительный результат. Решите заранее: сколько дней или конверсий, и только потом смотрите итог.

Третье: не запускайте сотню микротестов надеясь, что хотя бы один сработает. Вероятность ошибки растет с каждым тестом. Если нужно проверить много гипотез, делайте это последовательно или используйте поправку на множественные сравнения.

Проверяйте статистическую значимость, а не просто процент разницы. Разница в 20% с p-value 0.8 — это шум. Разница в