产品发布 / 更新精选
SGLang 引入 Waterfill 与 LPLB 提升 DeepEP MoE 负载均衡
原始标题：Blog Improving DeepEP MoE Load Balance in SGLang with Waterfill and LPLB Mixture-of-Experts （MoE） models rely on Expert Parallelism （EP） to scale inference across multiple GPUs. In SGLang， DeepEP and EPLB provide high-performance serving under EP， but the workload seen by … NVIDIA Team
内容摘要
SGLang 为 DeepEP MoE 推理新增两种调度时负载均衡方法：Waterfill 将共享专家分配给负载更低的 rank，在 DeepSeek-V3/R1 服务负载下使总吞吐量提升 1.48% 至 4.66%，在 DeepSeek V4 上最佳点从 49，253 tok/s 提升至 51，677 tok/s（+4.92%）；LPLB 基于线性规划优化冗余专家副本的 token 路由，配合 EPLB 在相同集群上实现吞吐量提升 0.84% 至 7.34%。
内容分类AI 产品发布与更新
内容层级精选情报
发布时间（北京时间）
本站收录时间（北京时间）
信息来源LMSYS：Blog（Chatbot Arena 团队）
站内情报编号intel-944b3d8ca4d518f5949c6a3b