SemiAnalysis：4-hi HBM 为何胜出

智能体工作负载正在悄然重塑推理经济学。我们从SemiAnalysis的43.2万个真实编码智能体请求中提取数据，发现中位数并非3.2万或6.4万，而是9.6万输入token。作为参考，这意味着在你输入问题之前，模型已处理了超过《了不起的盖茨比》全文长度的文本。（1/3）🧵

继 6D-Torus 之后，业界有一些关于 Triggerfish 采用全电交换 ICI 的讨论，Triggerfish 是 Google 下一代 TPUv9i，由 MediaTek 制造。（1/7）🧵

SemiAnalysis 发布文章《Nvidia's Backstop Universe》，探讨 11 万亿美元 AI 建设潮中 Nvidia 的兜底经济结构，以及其资产负债表能支撑的边界在哪里。文章链接：https://newsletter.semianalysis.com/p/nvidias-backstop-universe-heads-i

TPUv7 配备专用硬件加速单元 SparseCore，负责数据搬运并将各专家 token 聚为连续组，TensorCore 专注专家矩阵乘法。使用 SparseCore 重排 MoE 内核输入可提升 12% 吞吐量。结合其他优化及更低 TCO，TPU 推理性价比较 Blackwell Ultra 最高提升 50%（InferenceX 数据）。

vLLM 现已支持 DSpark 推测解码与流水线并行（Pipeline Parallelism）协同工作。此前因权重无法单机容纳而需使用流水线并行的用户无法利用 DSpark，该功能由 yongqinwang-cmd 与 Inferact 实现，Kimi K3 的 2.8T 参数规模推动了这一更新。

OpenAI 宣布分享 Navier-Stokes 千禧年大奖难题的一个解法，该问题涉及 Navier-Stokes 方程描述的三维光滑流体运动是否会失稳，已悬置约 90 年。

在 @Cerebras Supernova 上与 @milksandmatcha 坐下来聊了聊芯片。 每个人都在下不同的推理赌注。 有人想要便宜的 token，有人想要速度。 NVIDIA 在吞吐量上难以被击败，但在速度上还有巨大空间。 Cerebras 是个话痨。这些晶圆真的说话很快。

SemiAnalysis 称在 InferenceX 同口径对比中，TPUv7 Ironwood 借助新推出的 TorchTPU 外部推理栈，单位美元性能比 Blackwell Ultra 高 50%。TorchTPU 为 TPU 带来原生 PyTorch 支持，加上 Google 开源多款 Pascal 推理内核，SemiAnalysis 认为 TPU 外部化正在快速推进。

SemiAnalysis 发布报告称 TPU 推理外化全面提速，涵盖 InferenceX、性价比至多提升 50%、TPU stack 快速外化、客户群增长、Ironwood 与 TPUv8i，以及正在削弱 CUDA 护城河。详情见 https://newsletter.semianalysis.com/p/tpu-inferencex-full-steam

一架 F-35 战斗机的成本，相当于多少块初代 Rubin Ultra 1024GB HBM，又相当于多少块新款 Rubin "Ultra" 192GB HBM？