AI圈报
产品发布 / 更新精选

腾讯混元开源 AngelSpec 投机解码框架

信息来源:X:腾讯混元 (@TencentHunyuan)·
原始标题:🚀 We've open-sourced AngelSpec, an end-to-end speculative decoding framework supporting both traini…

内容摘要

腾讯混元开源端到端投机解码框架 AngelSpec,支持训练与部署。在 Hy3-A21B 模型上,其 DFly 方案相比自回归解码实现 1.98-2.40 倍端到端加速,吞吐量比 DFlash 高 10.5-11.8%。训练代码及 Hy3-A21B MTP/DFly 草稿模型权重已开源。
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:腾讯混元 (@TencentHunyuan)
站内情报编号intel-fce7aafb5a4ea3b2d594d3a9