Как определить размер выборки для теста, чтобы не слить бюджет на случайность

Остановка теста на первых кликах — это риск, а не аналитика. Без достаточного объема данных любые изменения показателей могут быть случайным шумом. Ориентируйтесь на целевые действия: для принятия решения по варианту креатива или лендинга нужно зафиксировать минимум 40–50 конверсий.

Соблюдайте временной цикл. Поведение аудитории меняется в зависимости от времени суток и дня недели. Даже если нужный объем данных собран быстро, тест должен охватить полный цикл (минимум несколько дней), чтобы учесть естественные колебания активности пользователей.

При ограниченном бюджете тестируйте меньше гипотез одновременно. Лучше получить достоверный результат по двум подходам, чем собрать «пустую» статистику по десяти. Дробление трафика на мелкие сегменты размывает данные и превращает оптимизацию в бесконечный процесс.

Используйте калькуляторы статистической значимости и принимайте решения на основе цифр, а не интуиции. 📊