Даже если у вас хватает видеопамяти под FP16, есть смысл глянуть в сторону BF16 или вообще 4-битных квантованных форматов через библиотеку Unsloth. На самом деле, разница в качестве ответа при обучении в 16 битах и 4 битах (с правильным лора-адаптером) часто стремится к нулю.
Зато профиты очевидны:
🔴 экономия VRAM до 2-3 раз
🔴 скорость обучения вырастает кратно
🔴 можно впихнуть обучение на видеокарту с 8-12 Гб памяти
Короче, не гонитесь за «тяжелыми» форматами, если не готовите модель уровня GPT-4. Эффективность важнее маркетинговых цифр. Что думаете по поводу такого упрощения?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Хоменок про дообучение LLM 🧠
@xomenok_llmft
⚡️ Почему FP16 уже не стандарт для обучения
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram