Игровой ПК можно превратить в локальную AI-машину без покупки флагманской карты.
Кейс: у автора уже была RTX 4080 с 16 ГБ VRAM, но для запуска локальных моделей этого оказалось мало. Вместо дорогой GPU с большим объёмом памяти он купил серверную видеокарту для датацентра за £200 и подключил её к ПК через адаптер.
Что получилось:
— суммарно 32 ГБ VRAM на двух GPU
— модель на 27 млрд параметров запускается локально
— скорость — около 32 токенов/с
— бюджет — в разы ниже, чем у топовых consumer-карт
Практический вывод: если задача — не гейминг, а локальный inference, иногда дешевле собрать рабочую конфигурацию из несовместимых на первый взгляд компонентов, чем платить за «удобный» сегмент рынка. ⚙️
Proof & Process
@ProofProcessPro
Игровой ПК можно превратить в локальную AI-машину без покупки флагманской карты.
Этот пост опубликован в Telegram-канале Proof & Process. Подписаться можно по ссылке: @ProofProcessPro.