Хоменок про дообучение LLM 🧠

💡 Датасеты для fine-tuning: синтетика против реальных данных

Раньше я убивал недели на разметку данных руками. Сейчас уверен: качественная синтетика через сильные модели типа DeepSeek R1 или модели OpenAI часто работает лучше, чем «грязные» логи реального чата.

Моя схема сейчас:
⭐️ беру 500 примеров из реальной переписки, чтобы поймать стиль
⭐️ генерирую 5000 вариаций на их основе через LLM
⭐️ прогоняю всё через скрипт фильтрации на стоп-слова и длину

Ребят, не бойтесь синтетики, главное — дайте модели правильный системный промпт для генерации. А вы чем наполняете обучающую выборку?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.