AI圈报
论文研究普通

腾讯论文:MoE 模型按神经元剪枝保技能

信息来源:X:Rohan Paul (@rohanpaul_ai)·
原始标题:New Tencent paper shows domain skills (like math or coding ) in Mixture of Experts models sit in scattered neurons across expert.

内容摘要

腾讯论文发现 MoE 模型的数学、代码等领域技能分散在跨专家的零散神经元中,因此按神经元而非整个专家剪枝可在压缩模型的同时保留大部分能力。其 RAMP 方法按神经元的路由贡献打分,剪掉最无用的 25% 神经元后,6 个模型仍保留 91% 至 98% 的性能。剪掉 50% 神经元时,GPU 显存下降 36% 至 43%,批量 prefill 吞吐提升 17% 至 39%。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-bd4165c9e2f8f236594c338d