论文研究普通
IntBMoE:将块级条件引入专家组合的全参与式混合专家模型
原始标题:IntBMoE: Integrating Block-Level Conditioning into Expert Composition for Full-Participation Mixture-of-Experts
内容摘要
IntBMoE 通过稠密专家组合与稀疏块执行,解耦 MoE 的参与度、计算量与显存占用,块来自小型学习码本,超网络将每层专家池合并为组合专家。图像分类实验显示其持续优于代表性稀疏与稠密 MoE 基线,语言建模与序列推荐实验验证了泛化能力。该架构已部署于高德生成式推荐系统,服务数亿用户,60ms 延迟预算下在线 A/B 测试 UVCTR 相对提升 2.4%。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-8809740912a9d9369da20e34