Многие новички в fine-tuning совершают одну и ту же ошибку — выставляют learning rate слишком агрессивно. В итоге модель ловит переобучение и начинает выдавать полную дичь вместо осмысленных ответов.
Короткий чеклист для сохранности вашей нейронки:
🔸 используйте warm-up шаги, чтобы модель плавно адаптировалась к новым данным
🔸 следите за графиком loss на валидационной выборке: как только пополз вверх, пора тормозить
🔸 проверяйте работу на «контрольных» промптах каждые 50-100 шагов
Ребят, лучше обучить чуть медленнее, чем потом тратить время на поиск причин деградации модели. А какой learning rate обычно ставите вы для своих задач?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Хоменок про дообучение LLM 🧠
@xomenok_llmft
📊 Как не угробить модель во время обучения
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram