AI圈报
论文研究普通

Complex KDA:理解并增强 Kimi Delta Attention 的表达能力

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention

内容摘要

研究者提出 Complex KDA(CKDA),通过将单个 delta-rule 变换与通道门控提供的第二次反射结合,使 Kimi Delta Attention(KDA)无需提高更新秩即可实现 2D 旋转。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-2d868ca181d9ba879fdb226a