На меделю задавал себе вопрос: продолжать спихивать всё через QLoRA на одной 3090 или наконец перейти на full fine-tune. Недавно прошёлся по кейсам и понял — люди часто выбирают QLoRA по инерции, а не логике.
Вот мой чек-лист:
👉 датасет < 10k примеров, модель < 13B — QLoRA норм, денег не тратишь
👉 датасет 10k-50k, нужна стабильность — уже смотришь на full fine-tune, хотя бы на 2x H100
👉 датасет > 50k или очень специфичная задача — full fine-tune не обсуждается, иначе лосс будет прыгать на валидации
Плюс я заметил — когда у тебя есть бюджет на облако, full fine-tune по времени вполне конкурентен. QLoRA выигрывает только в памяти на локальной машине.
На чём вы обычно останавливаетесь — на памяти или на качестве результата?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Хоменок про дообучение LLM 🧠
@xomenok_llmft
⚙️ Когда QLoRA уже не спасает — архитектура выбора
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram