AI圈报
论文研究普通

Triadic Linear Attention:用三维循环状态做长上下文序列建模

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling

内容摘要

研究者提出 Triadic Linear Attention,将线性注意力的矩阵隐状态扩展为三阶(3D)张量状态,通过 key、第二个 key 与 value 的三元外积写入,并用两个 query 分别与两条 key 轴收缩读出。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-4339bb830837873b21e2100e