Хоменок про дообучение LLM 🧠

📊 Как не угробить модель во время обучения

Многие новички в fine-tuning совершают одну и ту же ошибку — выставляют learning rate слишком агрессивно. В итоге модель ловит переобучение и начинает выдавать полную дичь вместо осмысленных ответов.

Короткий чеклист для сохранности вашей нейронки:
🔸 используйте warm-up шаги, чтобы модель плавно адаптировалась к новым данным
🔸 следите за графиком loss на валидационной выборке: как только пополз вверх, пора тормозить
🔸 проверяйте работу на «контрольных» промптах каждые 50-100 шагов

Ребят, лучше обучить чуть медленнее, чем потом тратить время на поиск причин деградации модели. А какой learning rate обычно ставите вы для своих задач?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.