AI圈报
观点 / 方法普通

vLLM 维护者实测 TPUv7 经 megakernel 优化后 Kimi K3 单用户达 700 tok/s,高出 GB200 NVL72 56%

信息来源:X:SemiAnalysis (@SemiAnalysis_)·
原始标题:ALERT ALERT ALERT 🚨 🚨 🚨 VLLM MAINTAINERS HAVE JUST SHOWN THAT TPUv7 CAN GET 700 tok/s/user, 56% …

内容摘要

vLLM 维护者展示 TPUv7 经 megakernel 优化后在 Kimi K3 上达到 700 tok/s/user,比 NVIDIA GB200 NVL72 高 56%。图表显示 16× TPU v7 为 709 tokens/s,16× GB200 vLLM baseline 为 452 tokens/s。SemiAnalysis 称 TPU 软件外部化进展值得持续关注。
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:SemiAnalysis (@SemiAnalysis_)
站内情报编号intel-faff2ba798fce893fb9a4006