Хоменок про дообучение LLM 🧠

🚀 Почему я перестал дообучать «монстров»

Раньше казалось: чем больше параметров в модели, тем круче результат дообучения. Сейчас для большинства рабочих задач беру модели до 14B параметров. И вот почему.

Главные причины:
🔸 скорость инференса: модель на 8B летает в разы быстрее, чем 70B
🔸 стоимость деплоя: меньше VRAM — меньше затрат на облака
🔸 проще настраивать: маленькую модель проще «дожать» под задачу

На самом деле, 8B модель после хорошего fine-tune бьет 70B в узких нишах. Меньше — не всегда хуже. Всем будет полезно попробовать перенести текущие задачи на модель поменьше — кайф от оптимизации ощутите сразу.

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.