Селф-хост на одной карте можно не превращать в охоту за топовой железкой: в свежем замере сравнили 18 конфигураций на Ornith-1.5 и Qwen3.8, прогнали три модели и несколько квантов на каждом, на одном и том же наборе из 22 реальных задач. Идея простая: понять, какой квант реально дает удобный баланс качества и скорости, а не просто жрет VRAM. Для айтишников Петербурга это полезно, если дома или в офисе хочется держать локальную модель и не переплачивать за RTX5090. Практический вывод автор уже подсветил сам: для него хватает 9B и Q5/Q6.
IT Санкт-Петербург — t.me/itspb_news
IT Санкт-Петербург
@itspb_news
RTX5090 не нужна: как выбрать квант для Ornith-1.5 и Qwen3.8 без лишних трат
Источники:
Этот пост опубликован в Telegram-канале IT Санкт-Петербург (@itspb_news). Все его публикации — на странице канала.
Открыть в Telegram