🤔 Сколько данных нужно для fine-tuning — честный ответ

🤔 Сколько данных нужно для fine-tuning — честный ответ

Все врут, что 100 примеров достаточно. Это работает только на простейших задачах в духе классификации.

По моему опыту:
🔴 тон и стиль ответа — 500-1000 качественных примеров
🔴 доменные знания (юр, мед, финанс) — 5-10к
🔴 сложный логический паттерн — 20-50к

Дальше — плато. 200к против 50к даст +1-2%, стоить будет в 4× больше.

Главное не количество, а гигиена данных. 1000 чистых примеров бьют 10к грязных, я это видел десятки раз.

Что у вас работало лучше — быстрый пилот или большой прогон?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠