Хоменок про дообучение LLM 🧠

🎁 Unsloth — библиотека, которая ускорила мой прогон в 2 раза

Ребят, это находка. Ставится в 2 команды через pip, поддерживает Llama, Mistral, Qwen, Gemma.

Что дала на моих задачах:
🔸 обучение в 1.9-2.1× быстрее
🔸 памяти нужно на 40% меньше
🔸 качество идентично стандартному Transformers + PEFT

По деньгам это перевело мой прогон Llama 3 8B LoRA с 6 часов на 3 часа. На часовой ставке H100 в $2 — экономия $6 за прогон. При 20 прогонах в месяц — $120 из ниоткуда.

Секрет — переписанные CUDA-ядра для attention и MLP. Автор — один парень из Австралии, поддерживает как одержимый.
Респект.
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.