🤔 Почему RAG работает лучше, чем мы ожидали

🤔 Почему RAG работает лучше, чем мы ожидали

Три года назад думали — LLM галлюцинируют, RAG не спасёт. Оказалось, спасает.

Секрет в двух вещах:
🔴 модель отлично умеет цитировать, если ты ей это разрешаешь и просишь
🔴 embeddings стали настолько точными, что нужные 5 чанков попадают в топ-10 в 90% случаев

Ещё три года назад для 90% точности нужен был сложный пайплайн с реранком, query rewriting и graph-обходами. Сейчас на GPT-4o + BGE-large + Qdrant это работает почти из коробки.

Прогресс на самом деле бешеный. Просто он не такой громкий, как релизы моделей.
Что думаете?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про RAG-системы 📚