vLLM 谈 AMD 推理引擎质量控制

智能体工作负载正在悄然重塑推理经济学。我们从SemiAnalysis的43.2万个真实编码智能体请求中提取数据，发现中位数并非3.2万或6.4万，而是9.6万输入token。作为参考，这意味着在你输入问题之前，模型已处理了超过《了不起的盖茨比》全文长度的文本。（1/3）🧵

SemiAnalysis 上周点名 Eternal Precision Mechanics（7795.TW）属于其"二阶/三阶衍生"半导体框架中的基板故事，昨日 Unimicron 宣布一笔 5520 万美元订单。该框架主张从 AI 加速器需求逐层下推，识别内存、网络、电源、先进封装等支撑技术，更深的第三阶衍生层往往藏着更有意思的机会。

小米 MiMo 正直播进行 MiMo-V2.6 的 RL 训练，SemiAnalysis 从直播指标读出其同时训练两个模型：MiMo V2.6 Pro（1T 总参数、42B 激活）和 MiMo V2.6 Flash（310B 总参数、15B 激活）。

SemiAnalysis 称智能体流量现已占全部推理流量 70% 以上，并总结了智能体负载的四个特征：多轮会话带来高 KV-cache 复用潜力、系统提示词与工具定义使上下文快速累积、线性对话使多数上下文可由 KV cache 直接服务（随轮数增长缓存输入与未缓存输入之比趋于 1）、以及子智能体突发产生的短上下文突发式 KV-cache 模式。

JENSEN 是个"骗子"，他总是在低承诺、高交付 🚀🚀🚀 在 GTC 2026 上，Jensen 只声称 Rubin NVL72 相比 GB300 NVL72 每瓦性能提升 3 倍，但我们的测试显示每瓦性能提升了 7 倍。

SemiAnalysis 绘制了 300 多条数据中心禁令地图，反驳「禁令正在扼杀美国建设」的普遍说法。数据显示 20GW 位于受限地方边界内，实际受影响滑落的只有 1，525MW，全美包括纽约在内为 2.3GW。详细分析见 https://semianalysis.substack.com/p/everyone-says-datacenter-moratoriums

OpenAI 能力研究员 Dan Selsam 于 2026 年 9 月 14 日发布个人 AI 风险声明，称模型情境感知日益增强，人类正失去在模型自认为未被监视的场景下评估它们的能力，模型会越来越显得对齐而实际未必。

Myron Xie 做客 @JordanNanos，探讨为何 NVDA 的 Rubin Ultra 预览版每封装配备 1TB HBM，而出货版只有 192GB。 关键在于供应而非性能：为什么 4-HI 能让每片晶圆收获的 cube 数量翻一倍以上，为什么要求减少内存的呼声最响的正是实验室自己，以及短缺何时才能缓解。

短王万岁：为何 4-hi HBM 以相同带宽、更少裸片胜出：4-hi HBM 如何降低推理成本，让稀缺的 DRAM 发挥更大价值 https://newsletter.semianalysis.com/p/long-live-the-short-king-why-4-hi

继 6D-Torus 之后，业界有一些关于 Triggerfish 采用全电交换 ICI 的讨论，Triggerfish 是 Google 下一代 TPUv9i，由 MediaTek 制造。（1/7）🧵