👍 Как правильно сравнивать модели атрибуции

👍 Как правильно сравнивать модели атрибуции

Ребят, часто спрашивают: «какая модель самая точная?»

Ответ: «точной» модели нет. Есть модели с разными допущениями. Сравнить их корректно можно через:

🔸 Predictive validity: делишь данные на train/test, обучаешь модель, смотришь как она предсказывает будущие конверсии. Точнее — лучше.

🔸 Cross-validation по каналам: последовательно исключаешь каждый канал, смотришь reasonableness прогноза.

🔸 A/B / geo-lift тесты для проверки инкрементальности. Модель, чей вклад канала близок к реальному инкременту — лучше.

Никогда не сравнивайте модели «на глаз» — «в linear вклад Директа больше, значит она правильнее». Это гадание.

Точность нужно замерять.

#Ворк
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про атрибуцию и MMM 🧮