华为开源昇腾推理引擎进展良好

智能体工作负载正在悄然重塑推理经济学。我们从SemiAnalysis的43.2万个真实编码智能体请求中提取数据，发现中位数并非3.2万或6.4万，而是9.6万输入token。作为参考，这意味着在你输入问题之前，模型已处理了超过《了不起的盖茨比》全文长度的文本。（1/3）🧵

华为拥有极其强大、充满热情，同时又友善温和的软硬件工程师。他们的开源昇腾（Ascend）推理引擎正在取得良好进展，为他们所做的工作感到自豪！

EMIB 真的在蚕食 CoWoS 吗？ 多年来，CoWoS 一直主导着先进封装。TSMC 持续大举扩产，但仍不足以满足客户需求。 Intel 带着 EMIB 这一有吸引力的替代方案入局--客户正在积极响应。（1/3）🧵

推理中的计算与数据搬运 将 MoE 模型映射到推理硬件：结构、流程与高效服务 https://newsletter.semianalysis.com/p/computation-and-data-movement-for

我们把硅从硅里取了出来。SemiAnalysis STEEL 拆解实验室快速出品：iPhone 18 Pro Max，A20 芯片，采用 TSMC N2 工艺。更多内容后续奉上……

SemiAnalysis 表示，自 NVIDIA 收购 HuggingFace 后，其一直在研究将部分工作从 HuggingFace 迁移到 ModelScope 等替代方案。作者认为尽管 NVIDIA 宣称将继续保持 HuggingFace 的加速器中立性，但 NVIDIA 在开发硬件无关软件方面记录不佳；同时作者称 ModelScope 的用户体验很出色，并表示希望自己的担忧是错的。

SemiAnalysis 发文称，过去 18 个月已有超过 300 个美国地方政府投票暂停数据中心，今夏节奏明显加快。暂停令是临时性法律措施，冻结新建数据中心的审批、许可和施工，但不影响已建成设施；多数暂停令持续数月至一年，可被撤销、替换或延长。作者指出，现行区划法规大多早于 100 多兆瓦至多吉瓦级设施出现，暂停为制定数据中心专门规则和评估基础设施需求争取时间，也是官员低成本回应本地反对的方式。

SemiAnalysis 转发 @rootxharsh 披露的 HEIF Heist 调查，称研究者通过 libheif 图像库漏洞攻破了 OpenAI、Slack、Meta、GitHub Ent、Rails、Next.js、ImageMagick 等众多应用，形如 xkcd #234 描述的依赖链条。SemiAnalysis 借此指出单点故障不限于冷门图像库，并在推文串中表示 Neocloud 上存在大量糟糕设计。

黑客团队于 7 月 25 日用两个漏洞在不到 72 小时内接管了 OpenAI 员工及部分外部用户的 ChatGPT/Codex 账号，并可访问关联的 Outlook、Slack、GitHub 等服务，还通过在 OpenAI 内部代码库提交 PR 证明了漏洞。