Как определить размер выборки для теста и не слить бюджет на случайные данные

Главная ошибка — выводы на малых числах. Если один вариант принес две конверсии, а другой ноль, это лишь погрешность. Для принятия решений нужен объем данных, при котором результат перестает быть случайным. Чем ниже конверсия, тем больше данных нужно для чистоты эксперимента.

Размер выборки зависит от ожидаемого эффекта. Для поиска роста в 2% нужны десятки тысяч показов. Если один креатив кратно лучше другого, разрыв виден быстрее. Достоверность в 95% — стандарт: успех повторится при масштабировании, а не окажется везением.

Не останавливайте тест раньше времени. Часто в первые часы один вариант лидирует, но позже показатели выравниваются. Тест должен охватывать полный цикл поведения аудитории (например, неделю), чтобы исключить влияние дней недели на итоговые цифры.

Рассчитывайте объем данных через калькуляторы значимости до запуска, чтобы заранее планировать бюджет на проверку гипотез. 💡