Split-test аудиторий в app installs: как не слить бюджет на ложные победы

Split-test аудиторий в app installs: как не слить бюджет на ложные победы

Сравнивать нужно только один параметр за раз: источник, гео, интерес или lookalike-слой. Если менять сразу крео, плейсменты и оптимизацию, ты не поймёшь, что именно дало рост.

Делай группы симметричными: одинаковый бюджет, один и тот же оффер, похожий объём трафика. Не мешай в один тест «широкую» и сильно зажатую аудиторию — у них разная логика доставки, и результат будет шумным.

Смотри не только на CPI. Для app installs важнее post-install сигналы: регистрацию, первый запуск, оплату, удержание. Аудитория с дешёвым инсталом, но пустым продуктом, не выигрывает тест.

Останавливай тест, когда у групп уже есть сопоставимый объём и разница держится стабильно. Если данных мало, алгоритм просто ловит случайность. Лучше прогнать меньше гипотез, но дочитать их до конца.

Правильный split-test — это не поиск «самой дешёвой» аудитории, а отбор той, что даёт качество. Сначала чистая методика, потом масштабирование.