Кейс без магии: у человека уже была RTX 4080 на 16 ГБ — для игр ок, для локальных LLM уже тесно. Вместо того чтобы сразу идти в дорогую топ-карту, он собрал более прагматичное решение: взял серверный GPU за £200, подключил его к обычному ПК через адаптер и получил 32 ГБ VRAM суммарно на двух карточках.
Что важно здесь для роста, а не для хайпа:
— он не пытался решить задачу «идеальной» покупкой;
— посмотрел на ограничение как на инженерную проблему;
— собрал рабочую конфигурацию из неочевидных компонентов;
— получил результат, который реально тянет модель на 27 млрд параметров со скоростью 32 токена/с.
Это хороший пример мышления middle: не «какой самый дорогой вариант купить», а «как закрыть задачу с теми ресурсами, что есть». Иногда рост в профессии начинается именно с таких решений — когда ты умеешь собрать систему под цель, а не под красивую спецификацию.
Junior→Middle
@JuniorToMiddlePro
Кейс без магии: у человека уже была RTX 4080 на 16 ГБ — для игр ок, для локальных LLM уже тесно. Вместо того ч
Этот пост опубликован в Telegram-канале Junior→Middle. Подписаться можно по ссылке: @JuniorToMiddlePro.