Как не слить бюджет на тесты: определяем размер выборки для достоверного результата

Определение размера выборки — баланс между скоростью и точностью. Малое количество данных ведет к ошибкам, а избыточное — к перерасходу бюджета. Главная цель: убедиться, что разница между вариантами статистически значима, а не является случайным рывком.

На объем выборки влияют: текущая конверсия и ожидаемый прирост. Чем тоньше изменения вы ищете, тем больше трафика нужно. Если базовая конверсия в целевое действие низкая, выборка обязана быть кратно больше для получения чистых данных.

— Не стопайте тест при первом же скачке показателей.
— Учитывайте циклы потребления: тест должен длиться минимум один полный период активности аудитории.
— Используйте калькуляторы для расчета доверительного интервала. 📊

Преждевременные выводы обходятся дороже лишнего дня работы. Оставляйте запас в 15% на внешние шумы, чтобы решение строилось на математике, а не на случайном стечении обстоятельств.