Собрал локальный AI-сетап на смешных для рынка деньгах: серверный GPU за £200 + RTX 4080. Итого — 32 ГБ VRAM и

Собрал локальный AI-сетап на смешных для рынка деньгах: серверный GPU за £200 + RTX 4080. Итого — 32 ГБ VRAM и модель на 27B параметров, которая выдаёт 32 токена/с.

Что здесь важно технически:
1) Не магия, а память. Для локального запуска больших моделей чаще упираются не в «слабый чип», а в объём VRAM. 16 ГБ у 4080 хватает для части задач, но быстро становится узким горлом.
2) Автор не купил «топ за все деньги», а добрал память через датацентровую карту и адаптер. Это дешевле, чем брать новую consumer-карту с большим VRAM.
3) 32 токена/с — уже не демо-скорость. Для локального инференса это значит, что модель можно реально юзать, а не смотреть на неё как на красивый тормоз.

Что это показывает рынку: железо для AI всё чаще собирают из зоопарка компонентов, а не из одной «правильной» карты. Для small teams и in-house экспериментов это прямой путь снизить входной чек. ⚙️

Но есть нюанс: дешёвый VRAM — это почти всегда компромисс по совместимости, охлаждению и возне с адаптерами. За £200 вы покупаете не комфорт, а доступ к памяти.