SemiAnalysis：Vera Rubin NVL72 智能体推理分析

在行业标准推理引擎vLLM上的测试显示，NVIDIA GB300 NVL72的实测端到端性能已达GB200 NVL72的2.7倍。尽管其纸面参数仅显示NVFP4算力提升约1.5倍、HBM容量增加1.5倍且带宽相同，但在大多数服务商实际运行的中段负载区间，凭借全栈优化的复合增益，GB300实现了远超理论算力提升的性能飞跃。此次测试基于NVIDIA、Inferact和CoreWeave为开源项目提供的临时GB300系统完成，结果印证了端到端实测性能才是衡量硬件效能的黄金标准，而…

警报🚨 GB300 NVL72 的 NVLINK 背板在智能体推理上实现比 Hopper 高 13 倍的每美元性能 通过极致的协同设计，GB300 NVL72 采用创新的铜背板，将 scale-up 域扩展到 72，而 Hopper 仅为 8。这使得诸如 @vllm_project 的宽专家并行等优化成为可能，让每块 GPU 只需承载一部分专家。

警报🚨：AMD 在不到 19 天内，通过软件优化使 @vllm_project 在 MI355X 智能体工作负载上的性能提升了 11 倍，测试模型为最新的 MiniMax M3 模型！ 这一提升完全通过软件优化实现，主要优化了长上下文注意力算子，并辅以其他优化！这就是 ROCm 软件栈的力量：硬件只需购买一次，后续通过软件优化即可免费获得性能提升。

NVIDIA 与 Google 为 Google 的 ConnectX-7/8 NCCL Plugin 实现开箱即用的自动激活，此前用户需手动配置库加载路径和环境变量才能在 GCP NVIDIA GPU 机器上优化 NVIDIA ConnectX 网卡性能，现已完全自动化。

华为在 WAIC 首次展示 Atlas 950 SuperPoD 服务器，此前于 3 月 MWC 宣布。

NVIDIA 开源 srt-slurm，为 Slurm 集群上的生产级推理服务提供基于 YAML 的编排层。它协调 sbatch/srun、GPU 分配、网络、就绪检查及清理，支持 prefill/decode 分离、多 worker、Dynamo 前端、KV-cache 感知路由等拓扑，便于在 GPU 集群上快速部署代表性推理系统进行测试或基准评测。

突发新闻🚨🚨 OpenAI 最新芯片每瓦性能比英伟达 7 月 Rubin 性能最高提升 2 倍。OpenAI 芯片甚至未启用 SPEC 解码，就已击败启用 SPEC 解码的 Rubin NVL72。（1/2）🧵

OpenAI 在 Hot Chips 大会上发布的全新 Jalapeño 芯片，在每兆瓦输出吞吐量上超越了 Vera Rubin 七月份的结果。（1/7）🧵

推出 AgentX：InferenceX 新的智能体推理性能基准。（1/2）🧵

Nvidia Rubin Ultra 将搭载 192GB HBM4 8-hi，较最初预览的 1TB HBM 大幅缩水，甚至低于常规 Rubin 的 288GB。容量削减主因：4 die 方案取消致 cube 数降至 8、堆叠高度从 16-hi 降至 8-hi、改用 24Gb die 的 HBM4（而非 HBM4E 的 32Gb），未来或可升级至 8-hi HBM4E。