Частая боль: в логах обучения кривая потерь летит вниз, а на тестах модель выдает бред или вообще зацикливается. Ребят, не верьте только графику loss, он часто врет.
Что я проверяю дополнительно:
🔸 Validation loss на отложенной выборке — если он растет при падении тренировочного, вы переобучились.
🔸 Оценка на контрольных вопросах (benchmarks) прямо в процессе обучения.
🔸 Визуальный чек: прогоняю модель через 20 «промптов-ловушек», где она должна ответить строго по формату.
На самом деле, loss показывает только то, как модель выучила распределение токенов, а не то, насколько она стала «умнее». Что думаете, используете свои метрики или доверяете стандартным логам?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Хоменок про дообучение LLM 🧠
@xomenok_llmft
📊 Почему loss падает, а ответы — дичь
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram