Хоменок про дообучение LLM 🧠

📊 Loss падает в пол, а модель отвечает дичь — почему это случается

Классическая ошибка: весь обучающий процесс смотришь только на метрику loss, кажется что всё хорошо, выкатываешь модель в прод, а она начинает писать бред. Со мной это было раза три-четыре, пока я не понял что здесь происходит.

Проблема в том, что loss — это чистая математика: средняя ошибка предсказания токена. Но это ничего не говорит о том, создаёт ли модель связный текст или просто запомнила токен-последовательности из датасета.

🔸 первый сигнал беды — loss валидации начинает расти, а loss тренировочный падает. Это overfitting
🔸 второй — модель начинает копировать примеры из датасета слово в слово, вместо того чтобы генерировать
🔸 третий — она отвечает формально корректно, но без контекста. На вопрос отвечает стандартным шаблоном

Решение — считай не только loss, но и BLEU или BERTScore во время обучения. Или хотя бы прогоняй промежуточные чекпойнты через реальные тесты.

Сталкивались с таким — как вы отловили что модель тупеет?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.