Партнёрка меняет атрибуцию посреди теста — и команда теряет смысл всех цифр

Партнёрка меняет атрибуцию посреди теста — и команда теряет смысл всех цифр

Контекст: классический антикейс из обсуждений арбитражных команд. Тест шёл по одной модели учёта, потом партнёрка включила post-click и пересчитала конверсии задним числом. На бумаге оффер стал выглядеть лучше, но сравнивать до и после уже было нельзя.

Что пошло не так:
— меняется окно и модель, а спенд и креативы остаются теми же;
— команда оптимизирует на старые отчёты, где часть лидов уже «переехала» в новую логику;
— джуны видят рост EPC, тимлид — падение реального approve, спор идёт не про трафик, а про метрику.

Что нужно было сделать иначе:
— фиксировать модель атрибуции до старта теста и не трогать её до конца сплита;
— хранить сырые логи по кликам, лидам и апрувам отдельно от отчёта партнёрки;
— при смене правил заново обнулять тест, а не лепить новую логику поверх старой.

Если атрибуция меняется в середине теста, это уже не оптимизация, а подмена базы сравнения. Такой оффер нельзя оценивать по одному графику — только по раздельным срезам до и после.