Мы один раз решили «умно» автоматизировать обработку входящих запросов: LLM должен был сам классифицировать пи

Мы один раз решили «умно» автоматизировать обработку входящих запросов: LLM должен был сам классифицировать письма, назначать приоритет и запускать нужный сценарий. На демо всё выглядело идеально. В проде — начался хаос.

Модель регулярно путала срочные заявки с обычными, а один и тот же запрос могла отправить в два разных потока. Причина оказалась банальной: мы переоценили качество текста и недооценили шум в реальных данных. Люди пишут с опечатками, эмоциями, вложениями, половина контекста спрятана в переписке. ИИ уверенно принимал решения там, где нужна была осторожность 🤖

Главный вывод: автоматизация с ИИ — это не «сделать без ошибок», а «сделать ошибки управляемыми». Если у процесса есть цена промаха, нужен human-in-the-loop, пороги уверенности и откат.
Иначе вы автоматизируете не работу, а масштаб проблемы ⚙️