Если вы в Самаре гоняете LLM в проде или в локалке, тема очень прикладная. Разбор показывает, почему модель «слепнет» за пределами окна и как это лечат методами вроде RoPE, NTK-aware, YaRN и LongRoPE/LongRoPE2. Ещё сравнивают, как всё это влияет на скорость и качество генерации.
В конце — проход по Qwen 3.8-27B и Qwen3.8-Flash-Next с миллионом токенов, а также Qwen 3.5, Gemma 4, Ornith, LFM2 и MiniCPM5-1B: у каких моделей масштабирование реально работает, а у каких — уже не очень. Полезно, если выбираете модель под длинные чаты, код или документы.
IT Самара — t.me/itsamara_news
IT Самара
@itsamara_news
Как растягивают контекст LLM и что это даёт на практике
Источники:
Этот пост опубликован в Telegram-канале IT Самара (@itsamara_news). Все его публикации — на странице канала.
Открыть в Telegram