AMD MI355X 缩小智能体推理差距

在行业标准推理引擎vLLM上的测试显示，NVIDIA GB300 NVL72的实测端到端性能已达GB200 NVL72的2.7倍。尽管其纸面参数仅显示NVFP4算力提升约1.5倍、HBM容量增加1.5倍且带宽相同，但在大多数服务商实际运行的中段负载区间，凭借全栈优化的复合增益，GB300实现了远超理论算力提升的性能飞跃。此次测试基于NVIDIA、Inferact和CoreWeave为开源项目提供的临时GB300系统完成，结果印证了端到端实测性能才是衡量硬件效能的黄金标准，而…

Vera Rubin NVL72 智能体推理：每美元性能提升 67 倍，Jensen 又在藏性能，每吉瓦年利润翻倍，买得越多赚得越多，AgentX、InferenceX、极致协同设计 https://newsletter.semianalysis.com/p/vera-rubin-nvl72-agentic-inference

警报🚨 GB300 NVL72 的 NVLINK 背板在智能体推理上实现比 Hopper 高 13 倍的每美元性能 通过极致的协同设计，GB300 NVL72 采用创新的铜背板，将 scale-up 域扩展到 72，而 Hopper 仅为 8。这使得诸如 @vllm_project 的宽专家并行等优化成为可能，让每块 GPU 只需承载一部分专家。

警报🚨：AMD 在不到 19 天内，通过软件优化使 @vllm_project 在 MI355X 智能体工作负载上的性能提升了 11 倍，测试模型为最新的 MiniMax M3 模型！ 这一提升完全通过软件优化实现，主要优化了长上下文注意力算子，并辅以其他优化！这就是 ROCm 软件栈的力量：硬件只需购买一次，后续通过软件优化即可免费获得性能提升。

NVIDIA 与 Google 为 Google 的 ConnectX-7/8 NCCL Plugin 实现开箱即用的自动激活，此前用户需手动配置库加载路径和环境变量才能在 GCP NVIDIA GPU 机器上优化 NVIDIA ConnectX 网卡性能，现已完全自动化。

华为在 WAIC 首次展示 Atlas 950 SuperPoD 服务器，此前于 3 月 MWC 宣布。

NVIDIA 开源 srt-slurm，为 Slurm 集群上的生产级推理服务提供基于 YAML 的编排层。它协调 sbatch/srun、GPU 分配、网络、就绪检查及清理，支持 prefill/decode 分离、多 worker、Dynamo 前端、KV-cache 感知路由等拓扑，便于在 GPU 集群上快速部署代表性推理系统进行测试或基准评测。

突发新闻🚨🚨 OpenAI 最新芯片每瓦性能比英伟达 7 月 Rubin 性能最高提升 2 倍。OpenAI 芯片甚至未启用 SPEC 解码，就已击败启用 SPEC 解码的 Rubin NVL72。（1/2）🧵

OpenAI 在 Hot Chips 大会上发布的全新 Jalapeño 芯片，在每兆瓦输出吞吐量上超越了 Vera Rubin 七月份的结果。（1/7）🧵

推出 AgentX：InferenceX 新的智能体推理性能基准。（1/2）🧵