Когда собираешь датасет для fine-tuning, встанет вопрос: генерировать примеры через GPT или копать реальные диалоги. На практике я вижу, что большинство новичков выбирают синтетику просто потому что она быстрее.
А вот что вышло у меня:
🔸 синтетика через Claude — фишка в том, что модель обучается на идеальном стиле, но потом на реальных запросах порой зависает
🔸 реальные логи — грязные, полные опечаток, но модель учится на боевых примерах и отвечает естественнее
🔸 микс 60/40 — реальное к синтетике — золотая середина, по моим прикидкам даёт +15-20% по юзер-сатисфакшену
Плюс реальные данные — их не нужно валидировать. Синтетику приходится проверять, иначе модель выучит артефакты.
Что у вас в работе — больше доверия к синтетике или рубите в реальные данные?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Хоменок про дообучение LLM 🧠
@xomenok_llmft
🚀 Синтетика vs реальные данные — что даёт реальный прирост качества
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram