vLLM 为 Kimi K3.1 Pro 提供 Day-0 支持

SemiAnalysis 应 OpenAI 邀请在实验室实测其在 Hot Chips 公布的 Jalapeño 推理 ASIC，称其在 DeepSeek R1、Kimi K2.5、GPT-OSS 等模型上的 perf/W 超过所有可测的 Nvidia、AMD 和 Google 芯片，DeepSeek R1 在并发 1 下达每用户超 700 token/s。

英伟达通过一项上游 vLLM 优化，让 2.8 万亿参数量的 Kimi K3 在 GB300 NVL72 上达到 423 tok/s/user 的推理速度，性能提升 1.68 倍。

OpenAI称其首款自研推理芯片Jalapeño在速度和能效上已超越英伟达GB200和GB300系统。在GPT-OSS 120B、DeepSeek R1 670B和Kimi K2.5 1T模型上，Jalapeño在峰值吞吐下每瓦特AI工作量提升1.5-1.9倍，端到端延迟降低1.7-3.6倍；高交互负载性能提升2.1-4.1倍。

vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型，这是一个 501B 参数、每 token 激活 23B 的 MoE 模型，在 NVIDIA Blackwell 上完成优化。

vLLM 官方宣布 Day-0 支持 Kimi K3，这是一个 2.8 万亿参数的 MoE 模型（每 token 激活 896 专家中的 16 个），基于 Kimi Delta Attention 与 Attention Residuals，支持 1M token 上下文窗口和原生视觉。

vLLM 在发布当天即支持 MiniMax-M3 系列新模型 MiniMax-M3.1-Flash，覆盖 NVIDIA Blackwell、Rubin 和 AMD MI350 系列 GPU。

NVIDIA 发布开源多模态模型 Nemotron 3.5 Super VL，vLLM 提供 Day 0 支持。模型基于 120B 总参数、12B 激活的 MoE 架构，结合推理、工具调用与文档、图像、视频理解，采用混合 Mamba-Transformer 架构、多 token 预测和 NVFP4 量化。

vLLM 现已支持 NVIDIA Vera Rubin NVL72，在 AgentX 上匹配交互性时每 GPU 吞吐量达 GB200 NVL72 的 7.8 倍，MLPerf 中 VLM 吞吐量最高为 GB300 NVL72 的 3.7 倍。

OpenRouter 宣布月之暗面的 Kimi K3.1 Pro 上线，定位为基于 Kimi K3 后训练、面向长程编码和智能体任务的 1M 上下文多模态开源权重模型。定价为 $2/M input tokens、$10/M output tokens，可在 OpenRouter 直接试用。

SGLang 团队推出 Low-Latency Mode，通过插件框架引入专用内核，在 NVIDIA GB300 和 AMD MI355X GPU 上显著降低推理延迟。