Хоменок про дообучение LLM 🧠

📚 Overfitting в fine-tuning — 5 сигналов, что модель тупеет

Ребят, если ваша модель после дообучения:
🔴 повторяет одну и ту же фразу в разных ответах — она заучила датасет
🔴 отвечает хуже на общих вопросах, не по вашему домену — переучили
🔴 loss на train падает, на val растёт — классика, останавливай прогон
🔴 стала давать более уверенные, но неточные ответы — калибровка сломалась
🔴 начала «дурить» в задачах, где базовая модель справлялась — потеряла общие знания

Что делать: снизить learning rate в 2×, уменьшить эпохи, добавить регуляризацию, разнообразить датасет.

Или самое простое — начать с меньшего датасета, посмотреть на кривые, потом раскатывать полный. Хождение по граблям исключит.
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.