论文研究普通
Declarative Attention 论文提出语言模型可自主控制自身注意力
原始标题:Language Models Can Control Their Own Attention
内容摘要
论文提出 Declarative Attention(DA)协议,让模型在链式思考中声明需要关注哪些上下文区域,推理引擎据此解析声明并跳过大部分 KV cache 读取,避免每步 O(N) 的外部打分开销。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-4cace8d8982325422d3b0f67