Хоменок про дообучение LLM 🧠

🛠 Оптимизация видеопамяти под мелкие задачи

На днях пришлось обучать модель на 16 Гб VRAM, когда обычно нужно 24+. Пришлось включать режим экономии и вспоминать базу оптимизаций.

Что реально помогает выиграть лишние гигабайты:
🔴 Отказ от оптимизатора AdamW в пользу более лёгких аналогов
🔴 Уменьшение длины контекста (если задача позволяет, режу до 512-1024 токенов)
🔴 Gradient Checkpointing — да, обучение идет чуть медленнее, зато память не вылетает

Кайф, когда всё влезает в одну карту. А у вас какие лимиты по железу сейчас?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.