AI圈报
产品发布 / 更新精选

SGLang 发布 Low-Latency Mode,通过插件框架在 NVIDIA 和 AMD GPU 上降低推理延迟

信息来源:LMSYS Blog·
原始标题:SGLang Low-Latency Mode: Kernels and Runtime

内容摘要

SGLang 团队推出 Low-Latency Mode,通过插件框架引入专用内核,在 NVIDIA GB300 和 AMD MI355X GPU 上显著降低推理延迟。
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源LMSYS Blog
站内情报编号intel-8fd6cc1b8f3a5c6bc125c34c