论文研究普通
FactorEngram:面向语言模型的基级门控分解式 N-gram 记忆
原始标题:FactorEngram: Factorized N-gram Memory with Basis-Level Gating for Language Models
内容摘要
FactorEngram 提出一种分解式 n-gram 记忆机制,用共享基向量字典上的稀疏系数替代传统单体嵌入,并让上下文对每个记忆分量单独门控。在 340M 和 1B 参数 Transformer 骨干上,该方法提升了语言建模与下游任务表现;消融实验显示,将记忆分支插入中间层的注意力子层之前是有效配置。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-b42e0b9adfe129fbb1a66348