TPUv7 SparseCore 助推理性能提升 50%

智能体工作负载正在悄然重塑推理经济学。我们从SemiAnalysis的43.2万个真实编码智能体请求中提取数据，发现中位数并非3.2万或6.4万，而是9.6万输入token。作为参考，这意味着在你输入问题之前，模型已处理了超过《了不起的盖茨比》全文长度的文本。（1/3）🧵

vLLM 现已支持 DSpark 推测解码与流水线并行（Pipeline Parallelism）协同工作。此前因权重无法单机容纳而需使用流水线并行的用户无法利用 DSpark，该功能由 yongqinwang-cmd 与 Inferact 实现，Kimi K3 的 2.8T 参数规模推动了这一更新。

OpenAI 宣布分享 Navier-Stokes 千禧年大奖难题的一个解法，该问题涉及 Navier-Stokes 方程描述的三维光滑流体运动是否会失稳，已悬置约 90 年。

在 @Cerebras Supernova 上与 @milksandmatcha 坐下来聊了聊芯片。 每个人都在下不同的推理赌注。 有人想要便宜的 token，有人想要速度。 NVIDIA 在吞吐量上难以被击败，但在速度上还有巨大空间。 Cerebras 是个话痨。这些晶圆真的说话很快。

SemiAnalysis 称在 InferenceX 同口径对比中，TPUv7 Ironwood 借助新推出的 TorchTPU 外部推理栈，单位美元性能比 Blackwell Ultra 高 50%。TorchTPU 为 TPU 带来原生 PyTorch 支持，加上 Google 开源多款 Pascal 推理内核，SemiAnalysis 认为 TPU 外部化正在快速推进。

SemiAnalysis 发布报告称 TPU 推理外化全面提速，涵盖 InferenceX、性价比至多提升 50%、TPU stack 快速外化、客户群增长、Ironwood 与 TPUv8i，以及正在削弱 CUDA 护城河。详情见 https://newsletter.semianalysis.com/p/tpu-inferencex-full-steam

一架 F-35 战斗机的成本，相当于多少块初代 Rubin Ultra 1024GB HBM，又相当于多少块新款 Rubin "Ultra" 192GB HBM？

英伟达将 Rubin Ultra 的 HBM 从 12-Hi 降至 8-Hi，因为真正的瓶颈是每单位带宽的成本，而非每单位容量的成本。让我们来算笔账（1/2）🧵

SemiAnalysis 发推解释 kernel 的双重含义：爆米花玉米粒，以及执行 LLM 数学与 attention 算子的几百行 GPU 代码。原文指出只有 kernel 持续喂满 tensor core，GPU 才能跑出纸面 FLOPS，糟糕的内存访问模式会让芯片闲置；在 OpenAI 的服务规模下，个位数百分比的 kernel 提升就意味着数亿美元的算力。该推文标注为系列第 1/2 条。