Большинство смотрит на GPU как на покупку “побольше и подороже”. Но в таких задачах, как локальный инференс, г

Большинство смотрит на GPU как на покупку “побольше и подороже”. Но в таких задачах, как локальный инференс, главный узкий участок — не бренд и не класс железа, а объём VRAM на фунт затрат.

Человек уже имел RTX 4080 с 16 ГБ: для игр — достаточно, для LLM — потолок. Вместо того чтобы переплачивать за топовую карту, он добрал ещё 16 ГБ серверной видеопамяти через датацентровый GPU и собрал 32 ГБ суммарно за £200. Итог: модель на 27B параметров работает локально и выдаёт ~32 токена/с.

Здесь важен не сам «дешёвый хак», а экономика решения:
— если задача упирается в память, а не в FPS, покупка consumer-GPU может быть неэффективной;
— лишняя производительность без VRAM не конвертируется в полезный результат;
— иногда оптимальный путь — не апгрейд в лоб, а пересборка архитектуры под метрику ограничения.

Хороший контрпример мейнстриму: считать не «какая карта мощнее», а «какая конфигурация даёт нужный результат за минимальную стоимость». 💾