AI圈报
产品发布 / 更新普通

英伟达优化 Kimi K3 推理速度,GB300 NVL72 上提升 1.68 倍

信息来源:IT之家·人工智能·
原始标题:英伟达优化 Kimi K3 模型推理速度,提升 1.68 倍

内容摘要

英伟达通过一项上游 vLLM 优化,让 2.8 万亿参数量的 Kimi K3 在 GB300 NVL72 上达到 423 tok/s/user 的推理速度,性能提升 1.68 倍。
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源IT之家·人工智能
站内情报编号intel-2d61cd9e97f1b069099c4e5f