Хоменок про дообучение LLM 🧠

⚙️ Архитектура обучения: когда стоит уходить с QLoRA на full fine-tune

Все привыкли к QLoRA, потому что это дешево и сердито. Но когда задача становится специфичной — например, узкоспециализированный сленг или сложная логика — LoRA-адаптеры могут не вытянуть.

Короче, я перехожу на full fine-tune, когда:
👉 точность предсказаний на QLoRA уперлась в потолок
👉 есть бюджет на аренду 4-8x A100 или H100 хотя бы на 10-15 часов
👉 модель должна идеально отрабатывать специфические токены

Это всегда дороже и требует больше танцев с бубном вокруг градиентов, но качество того стоит. Кто пробовал переобучать «фуллом» после LoRA — была заметная разница?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.