LLM-цепочка ломается не на модели, а на плохой архитектуре диалога

LLM-цепочка ломается не на модели, а на плохой архитектуре диалога

Если нужен естественный разговор, не сваливайте всё в один промпт. Нормальная схема: входной фильтр, классификатор намерения, генератор ответа, постпроверка на тон и конфликт фактов. На уровне API это снижает шум: модель не угадывает задачу вслепую, а работает в узком контексте.

Первый слой — нормализация: чистка мусора, выделение сущностей, дедупликация повторов. Второй — маршрутизация: вопрос, возражение, уточнение, негатив. Третий — память: краткий слепок последних реплик, а не весь чат. Иначе контекст раздувается, токены горят, а ответы начинают плыть.

Критичный узел — guardrails. Не текстовые “запреты”, а проверка перед отправкой: не ушёл ли ответ в канцелярит, не появился ли самопротиворечивый факт, не сломан ли эмоциональный тон. Детект накрутки — это вопрос времени и сложности используемых промптов. Автоматизация без имитации человеческого поведения — прямой путь в теневой бан.

Если нужен диалог без ощущения робота, режьте цепочку на маленькие задачи и меряйте не “красоту”, а удержание контекста, долю переспрашиваний и конверсию в целевое действие. Эффективность системы проверяется исключительно конверсией в целевое действие.