产品发布 / 更新普通
vLLM 支持 NVIDIA Vera Rubin NVL72:吞吐量达 GB200 NVL72 的 7.8 倍
原始标题:vLLM Support for NVIDIA Vera Rubin NVL72: 7.8x Throughput over GB200 NVL72
内容摘要
vLLM 现已支持 NVIDIA Vera Rubin NVL72,在 AgentX 上匹配交互性时每 GPU 吞吐量达 GB200 NVL72 的 7.8 倍,MLPerf 中 VLM 吞吐量最高为 GB300 NVL72 的 3.7 倍。