🤔 Нужен ли твоему стартапу fine-tuning или ты просто выпендриваешься

🤔 Нужен ли твоему стартапу fine-tuning или ты просто выпендриваешься

На самом деле большинство задач закрывается промптом и RAG. Fine-tuning имеет смысл, когда:

🔴 у тебя специфический тон/жаргон, и ChatGPT его не тянет
🔴 объём инференса такой, что дешевле держать свою модель
🔴 нужно уложиться в 200-300 мс задержки, чтобы клиент не уснул

Всё остальное — от лукавого. Я вижу ребят, которые дообучают Llama на 200 примерах и удивляются, что качество упало. Это не магия, это статистика.

Что думаете — сколько примеров минимально в вашем случае?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дообучение LLM 🧠