Собрал локальный AI-стенд без покупки «топовой» карты: к RTX 4080 на 16 ГБ добавили серверный GPU за £200 чере

Собрал локальный AI-стенд без покупки «топовой» карты: к RTX 4080 на 16 ГБ добавили серверный GPU за £200 через адаптер. В итоге — 32 ГБ VRAM на двух видеокартах, чего хватило, чтобы гонять модель на 27 млрд параметров со скоростью около 32 токенов в секунду. ⚙️

Это хороший пример не «масштабирования мечты», а прагматичного обходного пути: сначала проверить, что локальный запуск вообще нужен, потом докинуть железо точечно, а не переплачивать за одну дорогую карту.