AI圈报
论文研究普通

RecSA 稀疏注意力在 RULER 领先

信息来源:X:UCSD Hao AI Lab (@haoailab)·
原始标题:Each node's key comes from a small pooler, about 25K parameters per attention layer. We first distill the pooler level by level from the ...

内容摘要

每个节点的 key 来自一个小型 pooler,每个注意力层约 25K 参数。我们先从冻结的 Qwen3-4B 中逐层蒸馏出该 pooler,然后将其冻结并仅在 32K 序列上训练模型。每种稀疏方法对每个 query 读取相同数量的条目,而 RecSA 在 131K 到 2M 的每个长度上都在 RULER 上排名第一。其领先优势从 131K 时的约 3 分增长到 1M 时的约 20 分,并在 32K 时与稠密注意力持平。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:UCSD Hao AI Lab (@haoailab)
站内情报编号intel-d182645f4fe60ec15fd96257