Как определить размер выборки для теста и не слить бюджет на ложные выводы

Остановка теста при первых успехах — частая ошибка. Малая выборка дает случайный результат, который нельзя масштабировать. Чтобы данные имели вес, важно заранее рассчитать объем трафика для проверки гипотезы.

Основные факторы:
— Базовая конверсия: чем она ниже, тем больше сессий нужно для фиксации изменений.
— Ожидаемый эффект: поймать рост на 1% сложнее, чем заметить рывок на 20%.
— Уровень значимости: 95% гарантирует точность, но в тестах допустимо снижать планку до 85% ради скорости.

Ориентируйтесь минимум на 100 целевых действий на вариант. Если разница между креативами не стала очевидной за этот период, значит, изменения недостаточно радикальны для текущего объема трафика.

Используйте калькуляторы достоверности. Лучше продлить тест, чем менять стратегию на базе статистической погрешности. 📊