На старте теста считали по click-through атрибуции, через несколько дней партнёрка переключила на post-click и не остановила сплит. В отчётах «улучшился» CR, просел CPL, а медиа-команда начала масштабировать то, что на самом деле не работало. Внутри это выглядело как рост, но воронка была сломана на уровне измерения.
Что пошло не так:
— сменили модель атрибуции без заморозки теста;
— не зафиксировали окно конверсии и правила дедупликации;
— сравнивали данные из разных источников как будто это одна метрика.
Типовая ошибка здесь — верить цифре, пока не проверен способ её получения. Если атрибуция меняется, то «победитель» в кабинете может оказаться проигравшим в реальности.
Что нужно было сделать иначе:
— заморозить тест и поднять новый сплит после смены логики;
— заранее зафиксировать, какая система считается источником истины;
— держать параллельный ручной контроль: клики, лиды, подтверждения, выплаты.
Вывод простой: любое изменение атрибуции во время теста обнуляет сравнение. Пока не совпадают правила учёта, оптимизируешь не трафик, а ошибку.
Партнёрка сменила postback-логику посреди теста — и команда получила мусор вместо статистики
Этот пост опубликован в Telegram-канале True CPA — фейлы офферов и банхамеры партнёрок (@True_CPA). Все его публикации — на странице канала.
Открыть в Telegram