Хоменок про дообучение LLM 🧠

⚙️ Когда QLoRA уже не спасает — архитектура выбора

На меделю задавал себе вопрос: продолжать спихивать всё через QLoRA на одной 3090 или наконец перейти на full fine-tune. Недавно прошёлся по кейсам и понял — люди часто выбирают QLoRA по инерции, а не логике.

Вот мой чек-лист:
👉 датасет < 10k примеров, модель < 13B — QLoRA норм, денег не тратишь
👉 датасет 10k-50k, нужна стабильность — уже смотришь на full fine-tune, хотя бы на 2x H100
👉 датасет > 50k или очень специфичная задача — full fine-tune не обсуждается, иначе лосс будет прыгать на валидации

Плюс я заметил — когда у тебя есть бюджет на облако, full fine-tune по времени вполне конкурентен. QLoRA выигрывает только в памяти на локальной машине.

На чём вы обычно останавливаетесь — на памяти или на качестве результата?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.