AI圈报
论文研究普通

UCSD 提出 RecSA:树形稀疏注意力覆盖全上下文

信息来源:X:UCSD Hao AI Lab (@haoailab)·
原始标题:Sparse attention such as MoBA and DSA still scores the whole context for every query, so selection gets slower as the context grows. In R...

内容摘要

UCSD Hao AI Lab 提出 RecSA,用树形结构做稀疏注意力:每个节点 16 个子节点,查询从顶层开始,每层最多打分 4K 候选并选 256 个向下,上下文每扩大 16 倍树才多一层,64K 以内 2 层、2M 时 4 层。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:UCSD Hao AI Lab (@haoailab)
站内情报编号intel-0b8a3f0fca6e7bb3e3815278