GPU часто выбирают по одному числу: объём VRAM, количество ядер, цена за штуку. И потом удивляются, почему «по

GPU часто выбирают по одному числу: объём VRAM, количество ядер, цена за штуку. И потом удивляются, почему «похожее» железо в проде даёт разный результат.

Я слышал типичный вопрос: зачем H100, если можно собрать «эквивалент» из нескольких RTX? На бумаге математика выглядит убедительно. В реальности упираются не только в память, но и в пропускную способность, interconnect, тип вычислений и то, как именно задача грузит ускоритель.

Что обычно важно проверить до закупки:
— какой тип данных и precision нужны: FP16, FP8 и т.д.
— где станет узким местом: PCIe, NVLink, HBM или CPU
— будет ли модель масштабироваться на несколько GPU
— хватает ли памяти не только под веса, но и под батчи, активации, кэш

Инсайд простой: большинство ошибок происходит не на уровне «плохой GPU», а на уровне неправильного соответствия железа задаче. Поэтому смотреть надо не на один параметр, а на связку: модель, математика, шина, память, масштабирование. 🔧