Раньше казалось: чем больше параметров в модели, тем круче результат дообучения. Сейчас для большинства рабочих задач беру модели до 14B параметров. И вот почему.
Главные причины:
🔸 скорость инференса: модель на 8B летает в разы быстрее, чем 70B
🔸 стоимость деплоя: меньше VRAM — меньше затрат на облака
🔸 проще настраивать: маленькую модель проще «дожать» под задачу
На самом деле, 8B модель после хорошего fine-tune бьет 70B в узких нишах. Меньше — не всегда хуже. Всем будет полезно попробовать перенести текущие задачи на модель поменьше — кайф от оптимизации ощутите сразу.
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Хоменок про дообучение LLM 🧠
@xomenok_llmft
🚀 Почему я перестал дообучать «монстров»
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram