Партнёрка меняет post-click посреди теста — и вся статистика становится мусором
Контекст: команда гонит тест оффера, уже есть связка по креативу, ленду и GEO. Потом партнёрка без пересборки условий включает post-click атрибуцию, а вебы продолжают лить по старой логике.
Что пошло не так:
— конверсии начали уезжать в чужие источники, а победитель теста стал выглядеть слабее;
— EPC и CR сравнивали до и после, хотя метрика считалась уже по другой схеме;
— оптимизация пошла в сторону не слабой связки, а сломанной атрибуции.
Что нужно было сделать иначе:
— фиксировать окно атрибуции до старта и не трогать его в середине сплита;
— при любом изменении условий обнулять тест или разделять его на новый этап;
— хранить скрин/лог правил, чтобы видеть, где закончилась аналитика и начался хаос.
Если партнёрка меняет правила во время теста, вы не ищете рабочую связку — вы сравниваете два разных эксперимента.
Партнёрка меняет post-click посреди теста — и вся статистика становится мусором
Этот пост опубликован в Telegram-канале True CPA — фейлы офферов и банхамеры партнёрок. Подписаться можно по ссылке: @True_CPA.