Разобрали, какие вычисления реально нужны для LLM, почему кластер на CMP90HX работал слабее ожидаемого, и выяснили: мощность там искусственно режут именно на этих задачах. Потом протестировали китайскую модификацию, которая этот потолок снимает, и получили заметный прирост почти в 2 раза. Для айтишников Петербурга это ещё один сигнал: в AI-железе иногда упираешься не в «слабый сервер», а в прошивку и ограничения. Если гоняете LLM дома или в офисе, стоит смотреть не только на характеристики GPU, но и на такие подвохи.
IT Санкт-Петербург — t.me/itspb_news
IT Санкт-Петербург
@itspb_news
Сервер для LLM почти ускорили вдвое — и дело в скрытом лимите ⚙️
Источники:
Этот пост опубликован в Telegram-канале IT Санкт-Петербург (@itspb_news). Все его публикации — на странице канала.
Открыть в Telegram