Agent observability: без логов агент превращается в чёрный ящик

Agent observability: без логов агент превращается в чёрный ящик

Если агент делает действия в Ads Manager, CRM или трекинге, вам нужен не “умный ответ”, а трассировка решений. Минимум, который должен сохраняться: входной запрос, промежуточные шаги, вызванный tool, результат tool, финальное действие. Без этого вы не поймёте, где сломался сценарий: в распознавании, в выборе инструмента или в исполнении.

Что мониторить всегда:
— % успешных прогонов без human-fix
— число повторных попыток на один шаг
— где агент уходит в тупик: пустой ответ, неверный tool, бесконечный цикл
— время до первого полезного действия
— стоимость прогона: токены + внешние API + ручная доработка

Хорошая observability — это не только логи. Нужны метки на каждом решении: почему агент выбрал этот путь, какой confidence у шага, был ли fallback, кто отменил действие. Тогда можно сравнивать версии промпта как связки: один сценарий падает на сборе данных, другой — на проверке условий. И это уже не “кажется”, а таблица отказов.

Для performance-автоматики держите ещё один слой: audit trail по критичным действиям. Создание кампании, изменение бюджета, пауза адсета, отправка отчёта — всё должно быть воспроизводимо. Если шаг нельзя объяснить по логу за 30 секунд, его ещё рано отдавать агенту.

Вывод простой: сначала наблюдаемость, потом автономность. Иначе вы не управляете агентом — вы гадаете по его ошибкам.