AI圈报
论文研究普通

LOOM:可扩展的循环 MoE 训练方案,支持 9-12 次循环

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts

内容摘要

研究者提出 LOOM,通过缩放残差更新、每次循环重新注入输入嵌入,并用逐循环路由器和 Looping Residual 缓解专家选择坍缩,使循环 MoE 稳定扩展至 9-12 次循环。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-d2ee761b1a17d997bc8580c3