论文研究普通
E-MoE:面向非因子化扩散语言模型的增强型混合专家方法
原始标题:E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models
内容摘要
研究提出 E-MoE,用 MoE 骨干的专家路由决策构建离散共享隐变量,将扩散语言模型的反向过程建模为因子化分布的混合,且不增加激活参数量。在合成多模态基准、二值化 MNIST 和 LM1B 上,E-MoE 相比因子化基线改善了少步生成质量。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-8a44adcd41150b0114b21ba3