AI圈报
论文研究普通

Zyphra 将 ZHA 稀疏注意力扩展至 2.4 万亿参数模型

信息来源:Zyphra Research(网页)·
原始标题:Scaling Subquadratic Attention to Trillions of Parameters

内容摘要

Zyphra 将此前发布的 ZHA 层级稀疏注意力转换到四个前沿开源权重模型,包括 2.4 万亿参数的 Qwen3.8-2.4T-A95B、Nemotron-3.5-Super、GPT-OSS-120B 和 MiMo-V2.6-Pro,骨干完全冻结、仅训练少量参考查询。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Zyphra Research(网页)
站内情报编号intel-dc5e686aa913dc58fb4fe996