70B-модель больше не требует серверной стойки 💻

70B-модель больше не требует серверной стойки 💻

LLaMA 3 70B и другие большие LLM съедают много видеопамяти, но квантизация помогает запускать их на обычной пользовательской видеокарте. В статье разбирают, как это работает, чем отличаются PTQ и QAT, почему MoE-модели вроде DeepSeek-V3 и Mixtral квантизовать сложнее и что выбрать: GPTQ, GGUF или AWQ.

Есть практические примеры и код — пригодится всем, кто хочет запускать большие модели на ограниченном железе.

IT Владимир — t.me/itnews_vladimir