AI圈报
论文研究普通

自注意力在竞争下的检索容量

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Retrieval Capacity of Self-Attention Under Competition

内容摘要

研究通过保留每个注意力头、层和查询中注意力权重最高的 token 并测量 NLL 增幅,估算语言模型维持损失容差所需的"有效注意力集合"大小。基于注意力的选择显著优于随机选择,扩展上下文会增大所需集合大小,而重归一化保留权重可大幅降低该规模。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-d5ca38bdf5fe3dfb362d1dbd