IT Самара
IT Самара
@itsamara_news

Как растягивают контекст LLM и что это даёт на практике

Если вы в Самаре гоняете LLM в проде или в локалке, тема очень прикладная. Разбор показывает, почему модель «слепнет» за пределами окна и как это лечат методами вроде RoPE, NTK-aware, YaRN и LongRoPE/LongRoPE2. Ещё сравнивают, как всё это влияет на скорость и качество генерации.

В конце — проход по Qwen 3.8-27B и Qwen3.8-Flash-Next с миллионом токенов, а также Qwen 3.5, Gemma 4, Ornith, LFM2 и MiniCPM5-1B: у каких моделей масштабирование реально работает, а у каких — уже не очень. Полезно, если выбираете модель под длинные чаты, код или документы.

IT Самара — t.me/itsamara_news
Источники:
Этот пост опубликован в Telegram-канале IT Самара (@itsamara_news). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Сервисы и инфраструктура»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.