Как split-test аудиторий в app installs не превращать в лотерею

Как split-test аудиторий в app installs не превращать в лотерею

Главная ошибка — сравнивать сразу много аудиторий и потом искать «победителя» на глаз. Делай тест так, чтобы менялась только одна переменная: интересы, гео, возраст или плейсменты. Если в одном сплите у тебя разные крео, оффер и аудитории, выводы по трафику будут мусорными.

Сначала зафиксируй базу: один и тот же бюджет, одинаковые крео, одинаковая оптимизация и одна цель. Иначе ты проверяешь не аудиторию, а связку целиком. Важно заранее решить, что именно тестируешь: широкую аудиторию против интересов, разные пакеты интересов, lookalike против cold traffic.

Разделяй аудитории на сопоставимые группы. Не смешивай очень узкие сегменты с широкими в одном раунде и не делай 10 вариантов сразу — хватит 2-4 чистых сплита. Если объем маленький, сначала смотри на CTR, CPC и первые конверсии, а не только на установку: иногда «дешевый» трафик просто не доезжает до инсталла.

Фиксируй правило остановки: слабую группу выключай, когда разница уже стабильна, а не после пары кликов. Победителя тоже перепроверяй вторым заходом на той же логике, иначе легко поймать случайный перекос.

Тестируй аудитории как эксперимент, а не как надежду на чудо: одна гипотеза, чистые условия, понятный стоп-правилом результат.