AI圈报
教程 / 实战普通

腾讯混元如何把 770B 参数模型压进 214 GiB

信息来源:X:腾讯混元 (@TencentHunyuan)·
原始标题:Less size, same intelligence.

内容摘要

腾讯混元量化团队将 Hy4 preview 的权重从约 1.5TB 压缩到 214 GiB,参数量仍保持 770B,仅改变权重表示方式。其 Sherry 算法与 STQ1_0 格式让每组四个权重仅需 5 bit,混合精度模型平均约 2.38 bit/权重。
内容分类AI 教程与实战
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:腾讯混元 (@TencentHunyuan)
站内情报编号intel-bd13c85c5231c7a0d625b34c