IT Санкт-Петербург

Сервер для LLM почти ускорили вдвое — и дело в скрытом лимите ⚙️

Разобрали, какие вычисления реально нужны для LLM, почему кластер на CMP90HX работал слабее ожидаемого, и выяснили: мощность там искусственно режут именно на этих задачах. Потом протестировали китайскую модификацию, которая этот потолок снимает, и получили заметный прирост почти в 2 раза. Для айтишников Петербурга это ещё один сигнал: в AI-железе иногда упираешься не в «слабый сервер», а в прошивку и ограничения. Если гоняете LLM дома или в офисе, стоит смотреть не только на характеристики GPU, но и на такие подвохи.

IT Санкт-Петербург — t.me/itspb_news
Источники:
Этот пост опубликован в Telegram-канале IT Санкт-Петербург (@itspb_news). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Сервисы и инфраструктура»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.