Хоменок про дообучение LLM 🧠

📊 Оцениваем качество модели после fine-tune: почему loss обманчив

Частая ошибка новичков — смотреть только на график падения loss при обучении. Блин, это ловушка: модель может просто зазубрить датасет, а на реальных промптах посыпаться.

Вот мой чек-лист для проверки:
🔸 создаю hold-out сет из 200 примеров, которые модель вообще не видела при обучении
🔸 запускаю Eval на ответы по структуре, а не просто по тексту
🔸 проверяю на «галлюцинации» через систему баллов от 1 до 5

Если на трейне loss улетает в ноль, а на тестах модель несет бред — поздравляю, ты сделал оверфит, а не дообучение. Что думаете, юзаете автоматические бенчмарки или руками отсматриваете?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.