AI圈报
论文研究普通

Zyphra 研究:MoE 预训练中的专家耦合(Expert Coupling)

信息来源:Zyphra Research(网页)·
原始标题:Expert Coupling in MoE Pretraining

内容摘要

Zyphra Research 提出利用 MoE 路由的层内与跨层相关性来优化专家放置,从而降低 all-to-all 通信开销。实验显示,在 8 台 MI300x 节点集群上,EP8 升至 EP32 时 all-to-all 占训练步时间比例从 13% 升至 45%(top-2 路由),top-6 路由下则从 24% 升至 60%。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Zyphra Research(网页)
站内情报编号intel-10e55b428269e77f03df8f94