AI圈报
论文研究普通

SpectralShift:通过谱重参数化扩展 Gated DeltaNet 有效上下文窗口

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:SpectralShift: Effective Context Window Extension of Gated DeltaNet via Spectral Reparameterization

内容摘要

SpectralShift 通过谱重参数化扩展 Gated DeltaNet(GDN)的有效上下文窗口,用于长上下文持续预训练。该方法重新参数化 alpha 投影初始化以重塑衰减谱、增强慢速传播能力,并引入 alpha 投影的学习率缩放。实验显示其持续提升长上下文能力,代码已开源。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-fda92d0e17a9979f325a6430