Многие пытаются забить базу исключительно синтетическими данными из мощных моделей. Это быстро и дёшево, но есть нюанс — модель в итоге начинает имитировать стиль той самой «учительской» модели, а не реальную задачу.
Мой подход к балансу:
🔸 Берём 30% «грязных», но реальных диалогов из логов
🔸 Дочищаем их до идеала вручную (это больно, но необходимо)
🔸 Дополняем 70% синтетикой для охвата кейсов, которые редко встречаются в реальности
В итоге получается модель с «человеческим» лицом. А как вы балансируете свои сеты?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Хоменок про дообучение LLM 🧠
@xomenok_llmft
💡 Датасеты: синтетика против реальных данных
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram