Как определить размер выборки для теста и не слить бюджет на случайные данные

Главная ошибка — остановка теста на малых числах. Если креатив дал 2 лида с 10 кликов, это не значит, что его CR 20%. Без достаточной выборки результат — это шум. Для надежных выводов ориентируйтесь на объем от 50–100 целевых действий на вариант.

Размер выборки зависит от ожидаемого эффекта. Чем меньше разница между вариантами, тем больше трафика нужно. Если CR 1%, то для фиксации роста на 10% данных нужно больше, чем для резкого скачка. Тестируйте радикально разные подходы, а не мелкие детали.

Учитывайте циклы. Тест должен длиться минимум неделю. Даже если объем набран быстро, ранние выводы бывают ложными из-за специфики выходных или времени суток.

Используйте калькуляторы значимости до запуска. Если нужный объем недостижим, выберите метрику выше по воронке. Это спасет бюджет от тестов, на которые физически не хватает охвата.

Принимайте решения на основе подтвержденных цифр. Поспешные выводы ведут к ошибкам при масштабировании.