Хоменок про дообучение LLM 🧠

🛠 Деплой дообученной модели — три ошибки которые убивают в проде

Долго думал о чём писать, потом вспомнил — все говорят про fine-tuning, но молчат про то что дальше. Прошёлся по трём своим фейлам.

Первая беда — квантизация. Ты обучал модель в FP16, выкатил GGUF в int4 и вот уже ответы другие. Качество падает на 10-25%, в зависимости от задачи. Надо либо обучать сразу в квантизованном виде, либо проверять кейсы перед деплоем.

Вторая — версионирование. Выкатил v1, клиент начал использовать, потом ты переобучил v2, и теперь старые промпты бреют новые ответы. Ломается весь батник на их стороне. Надо либо мейнтейнить две версии, либо честно говорить — нужна адаптация.

Третья — контекст. Если модель обучалась на коротких примерах, а в проде ей скидывают 50 страниц текста, она начинает путаться. Проверить просто — тех же примеров подавай с разной контекст-лентой.

Какие косяки были у вас при деплое?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.