У Qwen 4 не просто очередной минорный апдейт, а переработка того, как трансформер ест контекст и память. В превью разбирают новые штуки: GDN + QSA, Gated Residual и 51B N-gram embeddings. Ещё обещают сравнение с Qwen 3.8 27B и запуск модели локально. Для айтишников это сигнал смотреть на новые подходы к эффективности: если Qwen 4 выстрелит, такие архитектуры могут сильнее влиять на локальные LLM и инференс на обычном железе.
IT Уфа — t.me/itufa_news
IT Уфа
@itufa_news
Qwen 4 показали как ранний архитектурный превью: что изменилось в памяти и контексте
Источники:
Этот пост опубликован в Telegram-канале IT Уфа (@itufa_news). Все его публикации — на странице канала.
Открыть в Telegram