Хоменок про дообучение LLM 🧠

💾 Вес модели против качества работы

Ребят, постоянно вижу споры, стоит ли упарываться в модели на 70B+ параметров или хватит компактных 7B-8B. Мой опыт говорит, что всё зависит от сложности задачи.

Мои критерии выбора базовой модели:
⭐️ Задача «классификация/извлечение данных» — беру до 8B, их проще деплоить и они летают на дешёвом железе
⭐️ Задача «генерация креатива/сложная логика» — тут только 30B+ параметров, иначе на выходе будет вода

Уверен, всем будет полезно помнить: большая модель требует в разы больше памяти, а профит в качестве часто не покрывает расходы на инфраструктуру. Вы на чем сейчас обучаетесь?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.