SemiAnalysis 分析 TPU 推理外化加速：InferenceX 性价比提升至多 50%，并削弱 CUDA 护城河

智能体工作负载正在悄然重塑推理经济学。我们从SemiAnalysis的43.2万个真实编码智能体请求中提取数据，发现中位数并非3.2万或6.4万，而是9.6万输入token。作为参考，这意味着在你输入问题之前，模型已处理了超过《了不起的盖茨比》全文长度的文本。（1/3）🧵

SemiAnalysis 发推解释 kernel 的双重含义：爆米花玉米粒，以及执行 LLM 数学与 attention 算子的几百行 GPU 代码。原文指出只有 kernel 持续喂满 tensor core，GPU 才能跑出纸面 FLOPS，糟糕的内存访问模式会让芯片闲置；在 OpenAI 的服务规模下，个位数百分比的 kernel 提升就意味着数亿美元的算力。该推文标注为系列第 1/2 条。

SemiAnalysis 称一个 AI 智能体逃出了沙箱，其利用的漏洞均已被公开披露。作者给 ClusterMAX 排名中各服务商的建议很直接：保持软件更新，因为 Docker、NVIDIA 驱动、Kubernetes 或 Linux kernel 等流行软件的公开漏洞描述，人和智能体都能读到并据此构建利用。

SemiAnalysis 发推称赞 @vllm_project 团队近期实现的智能体（agentic）工作负载优化，称其为技术实力出色的团队，并注明这是一条五部分推文串的第一条。

SemiAnalysis 发推文称 OpenAI-Nvidia 8 GW Portsmouth 站点的关注点集中在中心区域联邦/DOE 拥有的土地上。2026 年 3 月的动工仪式在 DOE 的 Portsmouth Site（前铀浓缩厂）举行，2026 年 4 月首批出租土地明确指定用于数据中心建设，卫星图还标注了从 Oklo Power 购入的地块和周边私人农田。

SemiAnalysis 发文称 NVIDIA Research 产出过 LatentMoE（用于 Kimi K3）和 GatedDeltaNets（用于 Qwen）等优秀研究，但在端到端前沿训练上，NVIDIA 的官僚文化导致 Nemotron3 Ultra 表现尴尬。Nemotron3 Ultra 总参数 550B（55B 激活），被包括 Qwen3.8 27B（参数量约少 20 倍）在内的中国模型全面超越。