论文研究普通
Fast Weight Attention 用于持续学习:在线学习规则下的循环状态压缩
原始标题:Fast Weight Attention for Continual Learning
内容摘要
论文将循环快速权重记忆与选择性状态空间模型的状态转换视为在线学习规则,在自回归语义下研究该规则。针对前缀预测目标,推导了平方误差回归与负内积目标的归一化一阶更新,提出 Falcon-1/2/3 及其内积变体 Falcon-1A/2A/3A,并提供循环、掩码并行与分块并行形式。代表性变体在语言建模上保持竞争力,并改善了变长数字加法的长度外推。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-e4d4de99af23c7cd4bfa7621