Короче, при дообучении часто случается катастрофическое забывание. Ты учишь модель писать как юрист, а она в процессе разучивается нормально здороваться или соблюдать базовый синтаксис JSON.
Как я борюсь с этим:
1. Смешиваю основной датасет с общим корпусом знаний (примерно 10-15% данных для поддержания общего IQ).
2. Снижаю learning rate, чтобы не ломать веса слишком резко.
3. Использую разные чекпоинты: иногда модель на 5-й эпохе работает хуже, чем на 3-й.
Жёстко, но это часть работы. Кто сталкивался с тем, что модель после обучения «тупеет» в простых вещах?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Хоменок про дообучение LLM 🧠
@xomenok_llmft
🟢 Ошибка «забывания» в LLM
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram