Маленькая выборка обманывает сильнее всего

Маленькая выборка обманывает сильнее всего

Вы запустили кампанию, получили 50 конверсий с ROI 300%. Хотите масштабировать? Стоп. Это может быть случайность, а не закономерность.

Маленькая выборка — главный враг арбитражника. Вот почему:

• Статистическая погрешность растёт при малом объёме. При 50 конверсиях доверительный интервал может быть ±50%. Реальный ROI может быть хоть 150%, хоть 450%. Вы не знаете истину.

• Случайные всплески выглядят как тренды. Из 100 рандомных кампаний одна даст отличный результат просто по закону больших чисел. Если вы масштабируете эту одну — почти гарантированно упадёте.

• Нужен минимум 200-300 конверсий для первичной оценки. Это даёт погрешность ±15-20%, на которую можно опираться. При 50 конверсиях лучше просто ждать.

Правило простое: считайте объём трафика, а не только метрики. Если за неделю вы получили 30 конверсий и ROI выглядит идеальным — это сигнал, что данных недостаточно. Продолжайте тестировать на том же бюджете ещё неделю-две, потом принимайте решение. Маленькие выборки создают иллюзию успеха, которая дорого обходится при масштабировании.