Как отличить хорошие метрики от липы: 5 признаков, что данные врут

Аналитика в арбитраже похожа на компас — если она неправильная, ты идёшь не туда. Многие арбитражники смотрят на цифры и верят им, но данные часто лгут. Вот на что обратить внимание.

1. Объём трафика слишком мал — статистика становится шумной. Если ты сливаешь 100 кликов в день, одна конверсия или её отсутствие меняет ROI на 20%. Нужен объём: минимум 500–1000 кликов в день на одно направление, чтобы видеть真 тренд, а не случайность.

2. Период наблюдения короче недели — дневные скачки нормальны. Трафик волнообразный: понедельник может быть слабым, среда сильной. Судить о скейле по 2–3 дням — всё равно что оценивать фильм по трейлеру.

3. Нет когорт и A/B тестов — только общие цифры. Если у тебя ROI 150% в среднем, это может быть 300% на мобайле и 50% на десктопе, или 250% на трафике ночью и 80% днём. Без разбивки ты не видишь слабые места.

4. Метрики привязаны к одной кампании — вероятность совпадения высока. Одна удачная кампания может дать 200% ROI просто за счёт везения. Повтор на пяти кампаниях подряд — вот это уже закономерность.

Правило простое: если цифра кажется идеальной, сомневайся. Проверь источник, увеличь объём, посмотри на подгруппы. Хорошие данные выглядят скучно и требуют времени, чтобы их подтвердить.