Как измерять вклад шага, а не только финального результата

Как измерять вклад шага, а не только финального результата

В agentic search появляется очень похожая на атрибуцию логика: не хватает понимать, сработала ли система в целом, нужно видеть, какой именно шаг дал ценность. В свежей работе для этого предложили Graph-Distance Contribution Reward: награду на уровне шага, которая оценивает найденные сущности и цитаты по тому, насколько близко они ведут к правильному ответу в графе знаний, построенном на данных обучения.

Вторая часть — Step Advantage Policy Optimization. Она не просто считает локальную награду, а превращает её в пошаговые advantage и добавляет к общему outcome advantage по всей траектории. По сути, модель учат смотреть и на итог, и на промежуточный вклад каждого действия. Это важный сдвиг: раньше многие step-level подходы упирались в дорогой tree sampling, то есть в тяжёлую процедуру перебора вариантов.

Почему это интересно не только для AI Search, но и для измерения маркетинга. Мы давно живём в мире, где last click слишком грубый, MMM даёт агрегированную картину, а incrementality отвечает только на вопрос “был ли эффект”, но не всегда показывает, какой именно контакт или последовательность контактов его создали. Здесь та же идея: ценность есть не только у финальной конверсии, но и у каждого промежуточного шага — поиска, кликa, цитаты, сущности, перехода.

Практический вывод для команд по аналитике и performance: всё чаще выигрывают системы, где можно прозрачно показать происхождение результата. Не просто “ответ найден”, а “какие источники, связи и доказательства к нему привели”. Это хорошо ложится на server-side сбор событий, на более аккуратную разметку воронки и на модели, которые умеют оценивать микровклад каждого touchpoint, а не только закрывающий контакт.