Почему А/Б тесты на popunder часто дают противоположные результаты

Тестируешь креатив — конвертит, запускаешь на весь бюджет — падает. Или наоборот: на малом объёме ничего не показал, а потом вдруг взлетел. Дело не в магии, а в том, что popunder чувствителен к объёмам трафика и его качеству.

Главная ошибка: тестировать на микробюджете и экстраполировать на макрос. При малом объёме (100-500 конверсий) результаты шумят — каждый клик в тесте весит много. Плюс на малых объёмах попадаются фрод и боты, которые искажают метрики. Правило: для popunder нужен минимум 1000-2000 конверсий на вариант, чтобы результат был надёжным.

Второе: тестировать все сразу. Меняешь креатив, лендинг, таргет и цену параллельно — потом не понимаешь, что сработало. А/Б значит одна переменная. Если хочешь проверить два креатива на один лендинг — это валидный тест. Но если ещё и географию меняешь, то результат никому не поверит, в том числе самому себе.

Третье: тестировать на грязном трафике. Если источник кишит ботами или низкокачественной аудиторией, то даже лучший креатив покажет слабо. Перед тестом убедись, что трафик чистый: смотри на юзерагенты, геолокации, паттерны кликов. Один грязный источник может утопить весь тест.

Логика простая: тесть нужно ставить на чистом трафике, одну переменную за раз, достаточный объём. Иначе результаты будут шум, а не сигнал.