SemiAnalysis 实测 77 家 GPU 云排名

智能体工作负载正在悄然重塑推理经济学。我们从SemiAnalysis的43.2万个真实编码智能体请求中提取数据，发现中位数并非3.2万或6.4万，而是9.6万输入token。作为参考，这意味着在你输入问题之前，模型已处理了超过《了不起的盖茨比》全文长度的文本。（1/3）🧵

vLLM 维护者展示 TPUv7 经 megakernel 优化后在 Kimi K3 上达到 700 tok/s/user，比 NVIDIA GB200 NVL72 高 56%。图表显示 16× TPU v7 为 709 tokens/s，16× GB200 vLLM baseline 为 452 tokens/s。SemiAnalysis 称 TPU 软件外部化进展值得持续关注。

SemiAnalysis 称 AMD MI355X 的单位美元性能最高可达 DGX B300 的 1.7 倍。

警报🚨：@alexandr_wang 花在那个想和 Zuck 笼斗的人所拥有的应用上的时间，比花在他自己的 Threads 应用上还多。也许他该让 Muse 把他的推文和回复截图发到 Threads 上。

非常感谢 @EmbeddedLLM 的 TJ 和团队；他们是 vLLM ROCm 的主要维护者和 CODEOWNERS！直到 2026 年 5 月，他们甚至都没有 MI355X 集群的持久访问权限，但在 SemiAnalysis 与 AMD 领导层沟通并说服他们之后--这件事事后看来相当明显--他们终于获得了持久集群，让 MI355X 在 AMD 上大放异彩！ 为 @EmbeddedLLM 团队感到无比自豪，他们在 @vllm_project 社区中备受尊敬。

华为拥有极其强大且充满热情、同时又友善和蔼的软硬件工程师。他们的开源昇腾推理引擎正在取得良好进展！

华为拥有极其强大、充满热情，同时又友善温和的软硬件工程师。他们的开源昇腾（Ascend）推理引擎正在取得良好进展，为他们所做的工作感到自豪！

EMIB 真的在蚕食 CoWoS 吗？ 多年来，CoWoS 一直主导着先进封装。TSMC 持续大举扩产，但仍不足以满足客户需求。 Intel 带着 EMIB 这一有吸引力的替代方案入局--客户正在积极响应。（1/3）🧵

推理中的计算与数据搬运 将 MoE 模型映射到推理硬件：结构、流程与高效服务 https://newsletter.semianalysis.com/p/computation-and-data-movement-for