Как рассчитать размер выборки для теста и не слить бюджет на случайные данные

Тесты без расчета объема данных превращают аналитику в гадание. Короткий тест ведет к решениям на основе случайных всплесков, а затянутый — к лишним тратам. Важно заранее определить порог входа.

Ориентируйтесь на целевые действия. Для подтверждения разницы в конверсии нужно минимум 100 конверсий на каждый вариант. При низком CR выборка по кликам должна быть большой, чтобы исключить аномалии.

Учитывайте ожидаемый эффект: чем меньше разница, которую вы фиксируете, тем больше данных нужно. Если цель — рост на 5%, выборка должна быть выше, чем при поиске связки с двукратным профитом.

Не останавливайте тест досрочно из-за высокого ROI в первые часы. Алгоритмы площадок и время суток искажают данные. Дождитесь завершения цикла (от 3 суток), чтобы увидеть реальную картину.

Используйте калькуляторы достоверности и не делайте выводов, пока вероятность ошибки превышает 5%.