RAG может показывать красивую цифру и все равно промахиваться по вашему домену 🔍

RAG может показывать красивую цифру и все равно промахиваться по вашему домену 🔍

В тексте разбирают, почему одного внешнего бенчмарка мало для retrieval: даже если эмбеддер держит почти ту же выдачу, на своих документах он может искать слабо. Автор предлагает собрать свой честный eval set из первых 100-300 кейсов, чтобы проверять именно свою задачу, а не усредненный скор.

Для команд и в Хабаровске это особенно полезно, если вы пилите RAG для внутренней базы, вуза, поддержки или бизнеса: без своего набора тестов легко обмануться цифрой и потом ловить промахи уже в проде.

IT Хабаровск — t.me/itnews_khabarovsk

—
Чтобы быть в курсе рынка — подпишись на @affcareers_almaty