Контекст: у человека уже стояла RTX 4080 на 16 ГБ VRAM. Для игр — ок. Для локального запуска LLM — упирается в

Контекст: у человека уже стояла RTX 4080 на 16 ГБ VRAM. Для игр — ок. Для локального запуска LLM — упирается в память. Варианта было два: покупать дорогую карту с большим объёмом VRAM или собрать конфигурацию из того, что обычно не ставят в обычный ПК.

Действие: он взял серверный GPU для датацентра за £200, у которого даже нет стандартного PCIe-коннектора, и подключил его к обычной системе через адаптер. В связке с 4080 получил 32 ГБ VRAM.

Результат: на этой сборке крутится модель на 27 млрд параметров со скоростью 32 токена/сек. 💾

Что здесь важно для ops:
1. Ограничение было не в железе, а в ресурсе памяти.
2. Решение найдено не через апгрейд «по умолчанию», а через обходной путь.
3. Цена ошибки снижена: вместо дорогой покупки — тест гипотезы за £200.
4. Ключевой KPI здесь не «мощнее», а «достаточно для сценария».