Хоменок про дообучение LLM 🧠

🟢 Ошибка «забывания» в LLM

Короче, при дообучении часто случается катастрофическое забывание. Ты учишь модель писать как юрист, а она в процессе разучивается нормально здороваться или соблюдать базовый синтаксис JSON.

Как я борюсь с этим:
1. Смешиваю основной датасет с общим корпусом знаний (примерно 10-15% данных для поддержания общего IQ).
2. Снижаю learning rate, чтобы не ломать веса слишком резко.
3. Использую разные чекпоинты: иногда модель на 5-й эпохе работает хуже, чем на 3-й.

Жёстко, но это часть работы. Кто сталкивался с тем, что модель после обучения «тупеет» в простых вещах?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.