А/Б тест убил кампанию — хотя метрики выглядели хорошо

Когда запускаешь два варианта креатива или лендинга одновременно, легко запутаться в цифрах. Вот что ломает большинство тестов в арбитраже:

• Недостаточный объём трафика — если на вариант прилетело 50 кликов, любое колебание выглядит как тренд. Нужен минимум 100-200 конверсий на каждый вариант, чтобы результаты были надёжны.

• Слишком короткий период — час-два тестирования покажут фальшивый победителя. Трафик неравномерный: утро, день, вечер — разная аудитория, разные ROI. Тести минимум сутки, лучше 2-3 дня.

• Одновременное изменение нескольких переменных — если менять и картинку, и текст, и целевую аудиторию, не поймёшь что именно сработало. Один параметр в тесте — одна переменная.

• Игнор статистической значимости — 30% разница в конверсии при 80 кликах может быть случайностью. Используй калькулятор статистической значимости или минимум жди 300+ событий на каждый вариант.

Главное: не бросай проигравший вариант после первых часов. Часто он восстанавливается после прогрева и начинает давать лучше. Тести полный цикл, смотри на чистые числа без эмоций.