产品发布 / 更新精选SGLang 发布 Low-Latency Mode,通过插件框架在 NVIDIA 和 AMD GPU 上降低推理延迟信息来源:LMSYS Blog·2026-10-18 00:00NVIDIA原始标题:SGLang Low-Latency Mode: Kernels and Runtime内容摘要SGLang 团队推出 Low-Latency Mode,通过插件框架引入专用内核,在 NVIDIA GB300 和 AMD MI355X GPU 上显著降低推理延迟。内容分类AI 产品发布与更新内容层级精选情报发布时间(北京时间)2026-10-18 00:00本站收录时间(北京时间)2026-10-20 09:13信息来源LMSYS Blog站内情报编号intel-8fd6cc1b8f3a5c6bc125c34c阅读原始信息 ↗查看数据来源更多产品发布 / 更新分享文章