AI圈报
产品发布 / 更新普通

SGLang 推出低延迟模式,通过插件框架引入专用内核

信息来源:LMSYS Blog·
原始标题:SGLang Low-Latency Mode: Kernels and Runtime

内容摘要

SGLang 团队联合 NVIDIA 和 AMD 推出 SGLang Low-Latency Mode,通过插件框架把专用内核接入 SGLang,在 AgentX trace replay 中将 P90 每用户 token 生成速度在 NVIDIA GB300 上提升最高 1.38×、在 AMD MI355X 上提升最高 1.56×。
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源LMSYS Blog
站内情报编号intel-870bafecb9f571d8bc08104a