Долго думал о чём писать, потом вспомнил — все говорят про fine-tuning, но молчат про то что дальше. Прошёлся по трём своим фейлам.
Первая беда — квантизация. Ты обучал модель в FP16, выкатил GGUF в int4 и вот уже ответы другие. Качество падает на 10-25%, в зависимости от задачи. Надо либо обучать сразу в квантизованном виде, либо проверять кейсы перед деплоем.
Вторая — версионирование. Выкатил v1, клиент начал использовать, потом ты переобучил v2, и теперь старые промпты бреют новые ответы. Ломается весь батник на их стороне. Надо либо мейнтейнить две версии, либо честно говорить — нужна адаптация.
Третья — контекст. Если модель обучалась на коротких примерах, а в проде ей скидывают 50 страниц текста, она начинает путаться. Проверить просто — тех же примеров подавай с разной контекст-лентой.
Какие косяки были у вас при деплое?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Хоменок про дообучение LLM 🧠
@xomenok_llmft
🛠 Деплой дообученной модели — три ошибки которые убивают в проде
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram