Три ошибки в А/Б тестах, которые убивают ROI раньше, чем вы заметите

Большинство арбитражников тестируют креативы как будто бросают монету: запустил две версии, через день посмотрел результат, выбрал более дешевую. Потом удивляются, почему масштабирование не работает.

Первая ошибка — малый размер выборки. Если вы тестируете две группы по 50-100 кликов, статистическая погрешность больше, чем разница между вариантами. Нужно минимум 500-1000 конверсий на каждый вариант перед выводами. Одно-два дня обычно недостаточно.

Вторая — не менять один параметр. Если одновременно меняете заголовок, картинку и целевую страницу, не поймёте, что именно сработало. Тестируйте поочередно: сначала только креативы при одинаковом ланде, потом ланды при одном креативе. Иначе результаты не масштабируются.

Третья — игнорировать когортный анализ. Лучше конвертится в понедельник? Разные платежные системы дают разный ROI? Это не случайность. Данные разбейте по часам, дням, странам, девайсам. То, что победило в общей выборке, может работать только в одном сегменте.

Практическая схема: тестируйте минимум неделю на среднем бюджете, смотрите по когортам, меняйте по одному элементу за раз. Потом масштабируйте с уверенностью.

**Символов: 843**