AI圈报
观点 / 方法普通

在 H20-3e 上优化 DeepSeek-V4.1-Flash 的 PD 分离与混部服务

信息来源:LMSYS Blog·
原始标题:Optimizing DeepSeek-V4.1-Flash PD & Colocate Serving on H20-3e

内容摘要

在 H20-3e 上优化 DeepSeek-V4.1-Flash 的 PD 分离服务后,最终配置相比 TP4 基线将平均端到端延迟降低 65.5%,输出吞吐提升至 2.91 倍。
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源LMSYS Blog
站内情报编号intel-ceb4603fd012c655e925b774