Кейс из инфраструктуры: команда смотрит на GPU и выбирает по одному числу — VRAM, цене или «количеству ядер».

Кейс из инфраструктуры: команда смотрит на GPU и выбирает по одному числу — VRAM, цене или «количеству ядер». На бумаге всё сходится. В реальности — нет.

Контекст: задача на ML/рендер/инференс, и возникает типичный вопрос: «Можно ли заменить одну H100 на 10 RTX 1080, если памяти суммарно хватает?» Ответ упирается не в память как таковую, а в связность системы: пропускную способность PCIe, обмен через NVLink, тип вычислений, поддержку Tensor Cores, формат данных вроде FP8 и задержки на межкарточный трафик.

Действие: перед выбором ускорителя надо разложить задачу по схеме:
— что именно считается: обучение, инференс, рендер;
— где узкое место: память, обмен, вычисления;
— какой формат данных нужен;
— как GPU будут общаться между собой и с CPU;
— есть ли смысл в масштабировании на несколько карт.

Результат: вместо покупки «по характеристике из прайса» получаем железо под конкретный сценарий. Меньше простоя, меньше сюрпризов на этапе запуска, ниже риск, что дорогой кластер не даст нужной производительности. 🔧