AI圈报
论文研究普通

SMELT:算力匹配下 MoE 循环 Transformer 的缩放律研究

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers

内容摘要

论文提出 SMELT(Sparse MoE Transformer,中段层循环两次)配方,在逐 token FLOPs、非嵌入参数量和 KV cache 三项预算均匹配的条件下研究循环 Transformer。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-4595c23ef822bbefdf7ac857