📊 Оцениваем качество модели после fine-tune: почему loss обманчив

📊 Оцениваем качество модели после fine-tune: почему loss обманчив

Частая ошибка новичков — смотреть только на график падения loss при обучении. Блин, это ловушка: модель может просто зазубрить датасет, а на реальных промптах посыпаться.

Вот мой чек-лист для проверки:
🔸 создаю hold-out сет из 200 примеров, которые модель вообще не видела при обучении
🔸 запускаю Eval на ответы по структуре, а не просто по тексту
🔸 проверяю на «галлюцинации» через систему баллов от 1 до 5

Если на трейне loss улетает в ноль, а на тестах модель несет бред — поздравляю, ты сделал оверфит, а не дообучение. Что думаете, юзаете автоматические бенчмарки или руками отсматриваете?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠