论文研究普通
Zyphra AI 发布 Zyphra Hierarchical Attention(ZHA):通向真正次二次注意力的路径
原始标题:Zyphra AI Introduces Zyphra Hierarchical Attention (ZHA): A Path to True Subquadratic Attention
内容摘要
Zyphra AI 发布稀疏注意力方法 Zyphra Hierarchical Attention(ZHA),用树状索引器让检索本身变稀疏,仅需约 4B token 即可蒸馏进冻结的预训练模型。