论文研究普通
Zyphra 提出 ZHA 分层注意力:用树搜索实现亚二次复杂度稀疏注意力
原始标题:ZHA: Zyphra Hierarchical Attention
内容摘要
Zyphra 提出稀疏注意力方法 ZHA(Zyphra Hierarchical Attention),通过构建并搜索分层树为每个 query 确定相关 token 集合,在合适 top-p 阈值下实现亚二次复杂度,优于仍需二次索引器的现有稀疏注意力方法。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Zyphra Research(网页)
站内情报编号intel-0906f3d00e145b68b8c0506e