论文研究普通
Stepped MoE:段级路由实现可配置推理复杂度
原始标题:Stepped MoE: Segment-Level Routing with Configurable Inference Complexity
内容摘要
Stepped MoE 提出一种统一框架,将弹性结构与稀疏门控架构结合,让单一模型可在 1、2、3、4 billion 参数间灵活切换。该模型在知识密集型基准上比同规模稠密模型准确率高 2-5%,延迟与稠密模型相当,并通过共享参数节省设备磁盘空间,适配端侧 DRAM 与算力限制。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-a78681754580070fbe1269ae