AI圈报
教程 / 实战普通

SGLang 弹性专家并行扩展:用 NIXL 在线扩容 MoE 部署

信息来源:LMSYS Blog·
原始标题:Elastic Expert Parallelism Scaling in SGLang: Growing a Live MoE Deployment with NIXL

内容摘要

SGLang 的 Elastic EP Scaling 让 MoE 模型可在运行中按细粒度增量加入 GPU,无需部署完整副本或重启服务,max_ep_size 预留元数据与通信缓冲容量。
内容分类AI 教程与实战
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源LMSYS Blog
站内情报编号intel-f6a2924fc71ec17a6e7be9f9