Хоменок про дообучение LLM 🧠

💡 Датасеты: синтетика против реальных данных

Многие пытаются забить базу исключительно синтетическими данными из мощных моделей. Это быстро и дёшево, но есть нюанс — модель в итоге начинает имитировать стиль той самой «учительской» модели, а не реальную задачу.

Мой подход к балансу:
🔸 Берём 30% «грязных», но реальных диалогов из логов
🔸 Дочищаем их до идеала вручную (это больно, но необходимо)
🔸 Дополняем 70% синтетикой для охвата кейсов, которые редко встречаются в реальности

В итоге получается модель с «человеческим» лицом. А как вы балансируете свои сеты?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.