IT Санкт-Петербург

RTX5090 не нужна: как выбрать квант для Ornith-1.5 и Qwen3.8 без лишних трат

Селф-хост на одной карте можно не превращать в охоту за топовой железкой: в свежем замере сравнили 18 конфигураций на Ornith-1.5 и Qwen3.8, прогнали три модели и несколько квантов на каждом, на одном и том же наборе из 22 реальных задач. Идея простая: понять, какой квант реально дает удобный баланс качества и скорости, а не просто жрет VRAM. Для айтишников Петербурга это полезно, если дома или в офисе хочется держать локальную модель и не переплачивать за RTX5090. Практический вывод автор уже подсветил сам: для него хватает 9B и Q5/Q6.

IT Санкт-Петербург — t.me/itspb_news
Источники:
Этот пост опубликован в Telegram-канале IT Санкт-Петербург (@itspb_news). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Сервисы и инфраструктура»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.