Классическая ошибка: весь обучающий процесс смотришь только на метрику loss, кажется что всё хорошо, выкатываешь модель в прод, а она начинает писать бред. Со мной это было раза три-четыре, пока я не понял что здесь происходит.
Проблема в том, что loss — это чистая математика: средняя ошибка предсказания токена. Но это ничего не говорит о том, создаёт ли модель связный текст или просто запомнила токен-последовательности из датасета.
🔸 первый сигнал беды — loss валидации начинает расти, а loss тренировочный падает. Это overfitting
🔸 второй — модель начинает копировать примеры из датасета слово в слово, вместо того чтобы генерировать
🔸 третий — она отвечает формально корректно, но без контекста. На вопрос отвечает стандартным шаблоном
Решение — считай не только loss, но и BLEU или BERTScore во время обучения. Или хотя бы прогоняй промежуточные чекпойнты через реальные тесты.
Сталкивались с таким — как вы отловили что модель тупеет?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Хоменок про дообучение LLM 🧠
@xomenok_llmft
📊 Loss падает в пол, а модель отвечает дичь — почему это случается
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram