AI圈报
论文研究普通

CoWindow Attention(CoWA):让完整因果覆盖成为注意力头集合的集体属性

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:CoWindow Attention: Full Causal Coverage Is a Collective Property

内容摘要

研究者提出结构化注意力架构 CoWA,将因果历史访问分散到各 KV head:所有 head 共享近对角与 prefix-sink 窗口,互补的长程窗口划分其余历史,其并集实现完整因果覆盖,且无需学习型 router 或 indexer。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-02f648ca0be65298d3e6bb5a