📰 Anthropic поднял контекст Sonnet до 1 млн токенов — конец RAG?

📰 Anthropic поднял контекст Sonnet до 1 млн токенов — конец RAG?

Спойлер: нет.

Что подвезли:
🔸 1 млн токенов = ~750 страниц A4 в контексте
🔸 задержка первого токена растёт с 2 до 12 сек на полном контексте
🔸 цена: $3 за 1 млн токенов вход — то есть $3 за один запрос

Кто-то скажет — «зачем RAG, суём всю базу в контекст».

Считаем: 1000 запросов в день × $3 = $90к в мес. Тот же ответ через RAG — $30-50 в мес.

Плюс задержка. Никакой юзер не будет ждать 12 сек ради «а вы вставили полную базу».

Long-context — это для разовых задач. RAG — для продакшена. Живут вместе.
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про RAG-системы 📚