Хоменок про дообучение LLM 🧠

💡 Датасет для fine-tuning — размер vs качество, 2 минуты расчёта

Часто видел такую историю: человек думает что ему нужно 100k примеров, начинает скрейпить интернет, потом дообучает модель и разочаровывается.

На практике вот что работает:
🔸 1-3k хороших примеров > 20k говна. Качество датасета важнее объёма
🔸 если примеры супер узкие (юрдоки, медицина) — даже 500 примеров может дать видимый прирост
🔸 если задача генерик (общение, творчество) — нужно минимум 5-10k

Плюс есть фишка — с 1k примеров видишь результат сразу. С 10k — прирост может быть всего на 5-7% сравнению с 1k. Закон убывающей отдачи включается быстро.

Мой совет: стартуй с 1k, смотри что работает, потом добивай датасет целевыми примерами.

На сколько примеров вы обычно цель ставите?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Авторские каналы»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.