Я давно смотрю на локальные ИИ-сборки и вижу одну и ту же развилку: либо покупать дорогую карту с большим VRAM, либо искать нестандартный путь.
Здесь человек пошёл вторым маршрутом: к обычному игровому ПК с `RTX 4080` он добавил серверный `GPU` через адаптер. Без «правильного» коннектора, без красивой истории про апгрейд — просто рабочее решение под задачу.
Что получилось в итоге: **32 ГБ VRAM на двух видеокартах**, запуск модели на `27 млрд` параметров и скорость около `32 токенов/сек`. И всё это — за примерно `£200` сверху.
Для меня в таких кейсах важен не сам хак, а вывод для контент-команды и бизнеса: иногда рост мощности — это не «купить флагман», а **пересобрать инфраструктуру под реальную задачу**. Так же и в VK или Дзене: не всегда нужен новый формат с нуля, иногда достаточно правильно докрутить связку, распределение ролей и упаковку.
VK + Дзен Pro
@VkDzenPro
Я давно смотрю на локальные ИИ-сборки и вижу одну и ту же развилку: либо покупать дорогую карту с большим VRAM
Этот пост опубликован в Telegram-канале VK + Дзен Pro. Подписаться можно по ссылке: @VkDzenPro.