论文研究普通
Edge0 用预路由预测让 35B MoE 模型在 24GB 单卡从 SSD 流式推理
原始标题:The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction
内容摘要
论文提出 Edge0,一种流式 MoE 推理引擎,通过每层提前一个 token 预测下一层路由的 prerouter,使专家预取与实际路由一致,解决 SSD 卸载无法提前读取的延迟问题。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-02edc7d39674f20e18f4414e