论文研究普通
小米 MiMo-V3 的 HySparse2 等本周 AI 论文
原始标题:https://x.com/i/article/2104259869402599424
内容摘要
小米 MiMo 团队为即将推出的 MiMo-V3 打造了注意力架构 HySparse2,在 80B-A3B MoE 模型上把 prefill FLOPs 较 MiMo-V2 系列的 Hybrid SWA 降低 5.02x、较 HySparse 降低 2.92x,KV cache 从 12.09 GB 降至 2.69 GB。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:DAIR.AI (@dair_ai)
站内情报编号intel-38c55031ade84bdeffcbfea4