IT Владивосток
IT Владивосток
@it_vladivostok

M3 Ultra буксует на BF16-модели: 12 токенов в секунду вместо ожидаемого разгона

Автор прогнал локально Qwen3.8-27B в BF16 на Mac Studio с Apple M3 Ultra: 32 CPU-ядра, 80 GPU-ядер и 512 ГБ unified memory. Модель была не сжатая, а в формате MLX, специально под Apple Silicon. Но скорость вышла всего 12 токенов/с. Для айтишников Владивостока это хороший маркер: даже очень жирное железо не спасает, если упёрлись в узкое место — дальше уже надо копать в стек, а не в характеристики на бумаге.

IT Владивосток — t.me/it_vladivostok
Источники:
Этот пост опубликован в Telegram-канале IT Владивосток (@it_vladivostok). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Сервисы и инфраструктура»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.