AI圈报
产品发布 / 更新普通

SGLang 集成 Humming:面向高效 MoE 推理的灵活低比特内核

信息来源:LMSYS Blog·
原始标题:Humming in SGLang: Flexible Low-Bit Kernels for Efficient MoE Serving

内容摘要

Humming 0.1.18 扩展了与 SGLang 的集成,覆盖更多量化方案和 GPU 架构,并新增面向 SGLang MoE runner 的共享激活表达式接口。
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源LMSYS Blog
站内情报编号intel-14fec1aa9e7dd1b172419dd8