Intel EMIB 是否正在蚕食 CoWoS？

智能体工作负载正在悄然重塑推理经济学。我们从SemiAnalysis的43.2万个真实编码智能体请求中提取数据，发现中位数并非3.2万或6.4万，而是9.6万输入token。作为参考，这意味着在你输入问题之前，模型已处理了超过《了不起的盖茨比》全文长度的文本。（1/3）🧵

推理中的计算与数据搬运 将 MoE 模型映射到推理硬件：结构、流程与高效服务 https://newsletter.semianalysis.com/p/computation-and-data-movement-for

我们把硅从硅里取了出来。SemiAnalysis STEEL 拆解实验室快速出品：iPhone 18 Pro Max，A20 芯片，采用 TSMC N2 工艺。更多内容后续奉上……

SemiAnalysis 表示，自 NVIDIA 收购 HuggingFace 后，其一直在研究将部分工作从 HuggingFace 迁移到 ModelScope 等替代方案。作者认为尽管 NVIDIA 宣称将继续保持 HuggingFace 的加速器中立性，但 NVIDIA 在开发硬件无关软件方面记录不佳；同时作者称 ModelScope 的用户体验很出色，并表示希望自己的担忧是错的。

SemiAnalysis 发文称，过去 18 个月已有超过 300 个美国地方政府投票暂停数据中心，今夏节奏明显加快。暂停令是临时性法律措施，冻结新建数据中心的审批、许可和施工，但不影响已建成设施；多数暂停令持续数月至一年，可被撤销、替换或延长。作者指出，现行区划法规大多早于 100 多兆瓦至多吉瓦级设施出现，暂停为制定数据中心专门规则和评估基础设施需求争取时间，也是官员低成本回应本地反对的方式。

SemiAnalysis 转发 @rootxharsh 披露的 HEIF Heist 调查，称研究者通过 libheif 图像库漏洞攻破了 OpenAI、Slack、Meta、GitHub Ent、Rails、Next.js、ImageMagick 等众多应用，形如 xkcd #234 描述的依赖链条。SemiAnalysis 借此指出单点故障不限于冷门图像库，并在推文串中表示 Neocloud 上存在大量糟糕设计。

黑客团队于 7 月 25 日用两个漏洞在不到 72 小时内接管了 OpenAI 员工及部分外部用户的 ChatGPT/Codex 账号，并可访问关联的 Outlook、Slack、GitHub 等服务，还通过在 OpenAI 内部代码库提交 PR 证明了漏洞。

OpenAI 的 Noam Brown 表示，气隙隔离计算机未必足以阻止失控的 AI：有研究显示，两台相邻的气隙机器可通过温度传感器通信，一台让 CPU 高负载发热，另一台检测温度变化从而建立通信渠道。他称主要教训是 AI 进展太快导致人们一直低估 AI，因此在安全与对齐上必须设非常高的门槛。

Kevin Lu 在 @vllm_project 发了一篇很棒的博客，讲推理引擎的质量控制。遗憾的是，@AnushElangovan 没有为 vLLM 提供足够稳定的 AMD QA 集群，导致 AMD 上的软件质量比 CUDA 差了一个数量级。 每个月都会发生多次 AMD CI vLLM 全集群宕机。