论文研究普通
滑动窗口注意力优于线性注意力:无需后训练即可超越
原始标题:Sliding-window beats linear attention
内容摘要
研究表明,带 sink 的滑动窗口注意力(SWA)在多项下游任务上表现不逊于甚至优于后训练的线性注意力模型。在长上下文推理任务(Needle-in-a-Haystack 和 BABILong)中,SWA 性能高出 2 至 10 倍。SWA 无需后训练、速度快且内存占用低,是更廉价可靠的解决方案。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-fa70e096838be6adab9a173e