🤔 Почему 80% RAG-прототипов не доходят до продакшена

🤔 Почему 80% RAG-прототипов не доходят до продакшена

Видел десятки — и своих, и клиентских. Причины типовые.

🔴 Валидация «на глаз». В пилоте задал 20 вопросов, всё ок. В проде 5к вопросов в день, 15% плохих — клиенты воют.
🔴 Игнор edge cases. «Сколько это стоит» = вопрос про цену? А если про время? А если про усилия?
🔴 Забытые обновления. База знаний обновилась, но индекс никто не пересобрал. Модель врёт с уверенностью.
🔴 Отсутствие мониторинга. Нет метрик — нет понимания, когда сломалось.

Мой чек-лист для запуска в прод — 47 пунктов, включая eval-сет минимум на 300 вопросов. Готов расписать отдельно, ставьте 👍.
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про RAG-системы 📚