🎁 Unsloth — библиотека, которая ускорила мой прогон в 2 раза

🎁 Unsloth — библиотека, которая ускорила мой прогон в 2 раза

Ребят, это находка. Ставится в 2 команды через pip, поддерживает Llama, Mistral, Qwen, Gemma.

Что дала на моих задачах:
🔸 обучение в 1.9-2.1× быстрее
🔸 памяти нужно на 40% меньше
🔸 качество идентично стандартному Transformers + PEFT

По деньгам это перевело мой прогон Llama 3 8B LoRA с 6 часов на 3 часа. На часовой ставке H100 в $2 — экономия $6 за прогон. При 20 прогонах в месяц — $120 из ниоткуда.

Секрет — переписанные CUDA-ядра для attention и MLP. Автор — один парень из Австралии, поддерживает как одержимый.
Респект.
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠