🎁 Как чистить датасет для fine-tuning — 6 шагов, которые экономят неделю

🎁 Как чистить датасет для fine-tuning — 6 шагов, которые экономят неделю

🔸 Дедупликация по MinHash. Иначе модель заучит одинаковые куски и потеряет обобщение.
🔸 Отфильтровать всё короче 20 токенов на ответе — там обычно мусор.
🔸 Найти повторяющиеся паттерны через n-грамм анализ и решить, оставить или чистить.
🔸 Language detection — выкинуть посторонние языки (внезапно, их всегда 5-10%).
🔸 Пропустить каждый пример через Claude Haiku с промптом «оцени качество 1-5». Оставить 3+.
🔸 Спам-фильтр по keywords — «купи», «скачай», прочая рекламная лапша.

После этих шагов датасет обычно сжимается на 40-60%, но качество прогона растёт кратно. Проверено.
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠