Срез не по SERP, а по железу: автор собрал локальный LLM-стек без «купить ещё одну 4090 и не моргать».

Срез не по SERP, а по железу: автор собрал локальный LLM-стек без «купить ещё одну 4090 и не моргать».

Что видно по схеме:
1) Была RTX 4080 на 16 ГБ — для гейминга ок, для локальных моделей уже тесно.
2) Вместо апгрейда в лоб взяли серверный GPU за £200 и завели его в обычный ПК через адаптер.
3) В итоге получили 32 ГБ VRAM суммарно и запуск модели на 27B с производительностью 32 токена/с.

Полезный вывод для тех, кто считает бюджеты на ИИ-инфру: иногда узкое место не в мощности, а в объёме памяти. И да, не всегда решение выглядит как «поставить карту подороже». Иногда это б/у датацентровая железка, переходник и аккуратная сборка 🛠️

Чек-лист перед повторением:
— проверить питание и совместимость
— понять, хватит ли PCIe-адаптера под вашу плату
— считать не FPS, а VRAM и реальную скорость вывода

Вывод без лирики: если модель не влезает, проблема часто не в вычислениях, а в памяти.