Хоменок про дообучение LLM 🧠

⚡️ Почему FP16 уже не стандарт для обучения

Даже если у вас хватает видеопамяти под FP16, есть смысл глянуть в сторону BF16 или вообще 4-битных квантованных форматов через библиотеку Unsloth. На самом деле, разница в качестве ответа при обучении в 16 битах и 4 битах (с правильным лора-адаптером) часто стремится к нулю.

Зато профиты очевидны:
🔴 экономия VRAM до 2-3 раз
🔴 скорость обучения вырастает кратно
🔴 можно впихнуть обучение на видеокарту с 8-12 Гб памяти

Короче, не гонитесь за «тяжелыми» форматами, если не готовите модель уровня GPT-4. Эффективность важнее маркетинговых цифр. Что думаете по поводу такого упрощения?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.