А/Б тест не покажет правду, если ты неправильно считаешь метрики

Большинство арбитражников запускают тесты, но половина результатов — шум. Проблема не в самом тестировании, а в том, как его считают.

Главная ошибка: смотреть на ROI или ROAS первые 24-48 часов. За этот период данные недостаточны — алгоритм платформы ещё учится, конверсии приходят волнами, статистическая погрешность огромна. Ты видишь вариант A лучше, запускаешь его в масштаб, а потом понимаешь — это был флаг.

Правило: для надёжного теста нужна минимальная выборка. На трафике с низким CTR — минимум 50-100 конверсий на каждый вариант. Если тестируешь креативы на холодную аудиторию, считай на 500+ конверсий. Только тогда разница в метриках становится значимой.

Второе: не меняй всё сразу. Один тест — одна переменная. Если ты одновременно менял копию, картинку и целевую аудиторию, ты не узнаешь, что сработало. Тесты работают только когда всё остальное зафиксировано.

Вывод: запускай тест с расчётом на 5-7 дней минимум, жди статистической значимости, потом масштабируй победителя. Спешка в тестировании — главная причина, почему работающие связки выглядят как говно.