AI-агент в проде ломается не на LLM, а на памяти, границах и инструментах

AI-агент в проде ломается не на LLM, а на памяти, границах и инструментах

Если агент делает маркетинговую задачу — CRM-обновления, lead-scoring, email-черновики, — его нужно проектировать как цепочку с явными точками контроля, а не как «умный чат».

— Память: не храните весь диалог в контексте. После нескольких итераций агент начинает тащить старые допущения. Нужны краткие summary, отдельный state и правила, что именно можно переиспользовать.

— Инструменты: каждое действие должно быть идемпотентным или иметь защиту от дублей. Иначе агент дважды отправит письмо, перезапишет CRM-поле или создаст лишний сегмент.

— Границы: задавайте allowlist полей, сущностей и API-методов. Агенту нельзя давать «доступ ко всему маркетингу»; ему нужен узкий контракт на задачу.

— Остановка: если в цепочке есть неуверенность, конфликт фактов или падение confidence, агент должен возвращать черновик на ревью, а не продолжать автопилот.

— Наблюдаемость: логируйте вход, вызовы инструментов, промежуточные решения и итог. Без этого невозможно понять, где именно агент уехал в галлюцинацию.

Хороший продакшен-агент — это не «максимально автономный» агент, а агент с жёсткими рельсами. Чем раньше вы ограничите память, действия и зоны риска, тем меньше будет ручного разбора инцидентов.