A/B тест иконок push даёт прирост только если мерить правильно, а не по кликам

A/B тест иконок push даёт прирост только если мерить правильно, а не по кликам

Иконка в push влияет не на «красоту», а на CTR и дальше на CR. Ошибка типовая: сравнивают две картинки по общему трафику, где у одной было больше частоты показов, другой — хуже гео или другой слот. В таком тесте победителя нет, есть шум.

Рабочая схема простая:
— делите трафик 50/50 на одинаковые сегменты;
— меняете только иконку, остальное оставляете без трогания;
— считаете не только CTR, но и EPC/CR по постбэку;
— тест держите до минимального объёма, иначе «плюс» легко рисуется случайностью.

По опыту, прирост от смены иконки чаще лежит в диапазоне 5–20% по CTR, но это не значит автоматический рост денег. Бывает и наоборот: креатив с более высоким CTR приводит более дешёвый, но пустой трафик, и CR проседает. Для push важнее, чтобы иконка совпадала с оффером и не обманывала ожидание пользователя.

Если тестируете whitelist, не смешивайте его с тестом иконок. Сначала фиксируете площадки, потом крутите креатив. Иначе вы не поймёте, что дало прирост: новая иконка, новый паблишер или смена частотного капа.