vLLM 解析 Kimi K3 在 AMD Instinct MI355X 上的推理优化，单 GPU 吞吐超 NVIDIA HGX B300 24.4%

vLLM 维护者展示 TPUv7 经 megakernel 优化后在 Kimi K3 上达到 700 tok/s/user，比 NVIDIA GB200 NVL72 高 56%。图表显示 16× TPU v7 为 709 tokens/s，16× GB200 vLLM baseline 为 452 tokens/s。SemiAnalysis 称 TPU 软件外部化进展值得持续关注。

SemiAnalysis 发文称 NVIDIA Research 产出过 LatentMoE（用于 Kimi K3）和 GatedDeltaNets（用于 Qwen）等优秀研究，但在端到端前沿训练上，NVIDIA 的官僚文化导致 Nemotron3 Ultra 表现尴尬。Nemotron3 Ultra 总参数 550B（55B 激活），被包括 Qwen3.8 27B（参数量约少 20 倍）在内的中国模型全面超越。

vLLM 发布 Kimi K3 生产级支持预览，为 2026 年 7 月 27 日前开放权重做好 day-0 开源服务准备。

vLLM 新增对 NVIDIA GPU 硬件视频解码（NVDEC）的支持，通过集成 PyNvVideoCodec 把视频解码负载从 CPU 转移到 GPU。在 8xH100 上，GPU 解码吞吐量比 CPU 解码方案提升一倍以上。该功能已包含在标准 CUDA 版 vLLM 中，自定义安装需依赖 PyNvVideoCodec==2.0.4。

Novita AI 开源了面向 Kimi K2.x 服务形态的 W4A16 MoE CUDA 算子 Chord，支持 BF16 激活、INT4 权重与 group-32 scale，其 indexed 路径兼容 Humming 导入根，可通过 --quantization humming 在兼容的 vLLM 版本上启用。

vLLM 团队详解 Kimi K3 从 v0.27.1 到 0913 main 的服务性能优化，在 8K/1K、TP8、B300 节点测试下延迟降低 56%-60%，吞吐提升 2.2-2.8 倍，TTFT 降低 72%-85%。

NVIDIA KGMON 团队在 KDD Cup 2026 Data Agents 竞赛获得第二名，并发布构建可靠数据分析智能体的方法复盘。

Epoch AI 报告估算，2026 年华为总 AI 算力产出约为 Nvidia 的 1/25，Ascend 950 性能约为 B300 的 1/7、2022 年 H100 的一半。报告认为即便华为路线图全部兑现并计入走私 HBM 情景，到 2030 年其在芯片性能和算力产出上仍落后 Nvidia 约 4 年，出口管制是主要制约因素。

Artificial Analysis 评测阶跃星辰 Step 5 Preview，其在 Artificial Analysis Intelligence Index 得 44 分，与 Kimi K3 (max) 持平，略低于 GLM-5.3 (max) 和 Qwen3.8 Max 的 45 分，每任务成本约 $0.72，约为同级模型（约 $2.00）的 1/2.8。

Baseten 发文解析开源模型后训练的成本驱动因素，指出活跃参数量是 RL 后训练成本的最大来源，总参数和 KV cache 主要限制推理速度，并按成本档位推荐 DeepSeek-V4-Flash、GLM-5.2、Kimi K2.6、Kimi K2.7 Code、Nemotron-3-Super-120B 和 Qwen3 系列。选型建议关注库支持、基准表现和后训练循环成本三方面。