教程 / 实战普通
vLLM 如何用 GB300 NVL72 为 Kimi K3 训练最快的 DSpark 投机解码模型
原始标题:How we trained the fastest DSpark for Kimi-K3 using GB300 NVL72
内容摘要
vLLM 团队扩展 Speculators 训练库,为 2.8T 参数的 Kimi K3 训练出 DSpark 投机解码 draft 模型,将数学推理单流交互速度从约 110 提升至约 435 tok/s/user,并发负载下输出吞吐最高提升约 3.5 倍。