Формула экономии железа:
`LTV локального инференса > цена VRAM`
Человек взял `RTX 4080` на `16 ГБ`, потом добил её датацентровой картой за `£200` и получил `32 ГБ VRAM` под одну машину.
Итог: модель на `27B` крутится локально, около `32 tok/s`. Без магии, просто **CAPEX vs потребность в памяти**.
Вывод: если у тебя упирается не в FLOPS, а в VRAM, то «дорогая игровая карта» — не всегда оптимальный CPC железа.
Серверный GPU с адаптером — это, конечно, костыль, но очень рентабельный костыль.
Bid Math
@BidMathPro
Формула экономии железа:
Этот пост опубликован в Telegram-канале Bid Math. Подписаться можно по ссылке: @BidMathPro.