🤔 Что будет с fine-tuning через 3 года — моя ставка

🤔 Что будет с fine-tuning через 3 года — моя ставка

Мои прогнозы, спорьте в комментах:

🔴 Большие модели (500B+) станут монополистами по знанию, свои прогоны туда не полезут — слишком дорого.
🔴 Средние модели (7-70B) уйдут в LoRA-адаптеры по подписке: платишь $50/мес, дообучаешь неограниченно.
🔴 Малые модели (1-3B) станут «специализированными процессорами»: обучил, вшил в чип, работает в оффлайне на телефоне.
🔴 Datasets станут главным активом. Кто владеет качественной размеченной data — тот и правит.

Основная работа в 2028 будет не про модели, а про сбор и очистку данных. Так же, как сейчас в аналитике 80% времени тратится на pandas, а не на ML.
Что думаете?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠