Хоменок про дообучение LLM 🧠

📊 Почему loss падает, а ответы — дичь

Частая боль: в логах обучения кривая потерь летит вниз, а на тестах модель выдает бред или вообще зацикливается. Ребят, не верьте только графику loss, он часто врет.

Что я проверяю дополнительно:
🔸 Validation loss на отложенной выборке — если он растет при падении тренировочного, вы переобучились.
🔸 Оценка на контрольных вопросах (benchmarks) прямо в процессе обучения.
🔸 Визуальный чек: прогоняю модель через 20 «промптов-ловушек», где она должна ответить строго по формату.

На самом деле, loss показывает только то, как модель выучила распределение токенов, а не то, насколько она стала «умнее». Что думаете, используете свои метрики или доверяете стандартным логам?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.