Хоменок про дообучение LLM 🧠

📊 Оценка галлюцинаций в дообученных моделях

Часто после файна-тюна модель начинает уверенно нести бред, хотя loss на графике выглядит просто идеально. Это классическая ловушка переобучения на «правильный» стиль ответа при потере фактологической базы.

Как я проверяю модель на адекватность:
🔸 Создаю «golden set» из 50 вопросов с подвохом, на которые нет ответов в обучающей выборке
🔸 Сравниваю ответы модели с эталонными через вторую, более мощную LLM
🔸 Замеряю rate отказов — если модель не знает ответа, она должна признаться, а не выдумывать ссылки

Блин, лучше пусть модель скажет «не знаю», чем красиво соврёт клиенту в проде. Что думаете, используете RAG для проверки ответов дообученной модели?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.