📰 Mistral выкатил Small 3 — 24B параметров, лицензия Apache 2.0
Что важно:
🔸 обгоняет Llama 3.3 70B на некоторых бенчах при 3× меньшем размере
🔸 контекст 32к, для большинства задач хватает
🔸 идеально ложится под LoRA, поместится на RTX 4090
Я скачал вечером, к утру дообучал под юр-помощника. Датасет — 3к пар «вопрос по договору → ответ», взял из наших закрытых консультаций.
Результат — отвечает как наш штатный юрист, только без обеденного перерыва. Стоимость дообучения — $9 на арендованной H100.
Для 24B модели это смешно.
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Хоменок про дообучение LLM 🧠
@xomenok_llmft
📰 Mistral выкатил Small 3 — 24B параметров, лицензия Apache 2.0
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠. Подписаться можно по ссылке: @xomenok_llmft.