论文研究普通
SplitMoE:用分角色稀疏架构打破视频扩散模型的均匀性陷阱
原始标题:Breaking the Uniformity Trap: Scaling Video Diffusion Model via SplitMoE
内容摘要
针对传统 token-wise MoE 因均匀专家使用正则化导致的"均匀性陷阱",SplitMoE 提出分角色稀疏架构,将专家池拆分为语义专家与通用专家,配合原型引导路由和拉推正则化,让 token 按语义属性自然聚类。在等效激活参数预算下,SplitMoE 在收敛速度、路由一致性和视频生成质量上均优于传统负载均衡 MoE。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-2d93bb5dada31a5865563e79