Часто видел такую историю: человек думает что ему нужно 100k примеров, начинает скрейпить интернет, потом дообучает модель и разочаровывается.
На практике вот что работает:
🔸 1-3k хороших примеров > 20k говна. Качество датасета важнее объёма
🔸 если примеры супер узкие (юрдоки, медицина) — даже 500 примеров может дать видимый прирост
🔸 если задача генерик (общение, творчество) — нужно минимум 5-10k
Плюс есть фишка — с 1k примеров видишь результат сразу. С 10k — прирост может быть всего на 5-7% сравнению с 1k. Закон убывающей отдачи включается быстро.
Мой совет: стартуй с 1k, смотри что работает, потом добивай датасет целевыми примерами.
На сколько примеров вы обычно цель ставите?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠
Хоменок про дообучение LLM 🧠
@xomenok_llmft
💡 Датасет для fine-tuning — размер vs качество, 2 минуты расчёта
Этот пост опубликован в Telegram-канале Хоменок про дообучение LLM 🧠 (@xomenok_llmft). Все его публикации — на странице канала.
Открыть в Telegram