Хоменок про дообучение LLM 🧠

🚀 Синтетика vs реальные данные — что даёт реальный прирост качества

Когда собираешь датасет для fine-tuning, встанет вопрос: генерировать примеры через GPT или копать реальные диалоги. На практике я вижу, что большинство новичков выбирают синтетику просто потому что она быстрее.

А вот что вышло у меня:
🔸 синтетика через Claude — фишка в том, что модель обучается на идеальном стиле, но потом на реальных запросах порой зависает
🔸 реальные логи — грязные, полные опечаток, но модель учится на боевых примерах и отвечает естественнее
🔸 микс 60/40 — реальное к синтетике — золотая середина, по моим прикидкам даёт +15-20% по юзер-сатисфакшену

Плюс реальные данные — их не нужно валидировать. Синтетику приходится проверять, иначе модель выучит артефакты.

Что у вас в работе — больше доверия к синтетике или рубите в реальные данные?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.