AI圈报
教程 / 实战普通

vLLM 如何用 GB300 NVL72 为 Kimi K3 训练最快的 DSpark 投机解码模型

信息来源:vLLM 官方博客(RSS)·
原始标题:How we trained the fastest DSpark for Kimi-K3 using GB300 NVL72

内容摘要

vLLM 团队扩展 Speculators 训练库,为 2.8T 参数的 Kimi K3 训练出 DSpark 投机解码 draft 模型,将数学推理单流交互速度从约 110 提升至约 435 tok/s/user,并发负载下输出吞吐最高提升约 3.5 倍。
内容分类AI 教程与实战
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源vLLM 官方博客(RSS)
站内情报编号intel-e4a9f15988f81330a5d90cb8