产品发布 / 更新普通
EAGLE-4 投机解码提速实测
原始标题:Some of the most useful inference work right now is happening in the speculative decoding component.
内容摘要
EAGLE-4 在 27B 模型单请求下达到 863.8 tokens/s,为 DFlash 2 的 1.28 倍、DSpark 的 1.40 倍。它保留“草稿—验证”循环,改进集中在草稿侧:自适应草稿结构和更廉价的草稿 LM head,由小模型预猜多个 token、目标模型一次前向校验,输出结果不变,测试环境约快 3 倍。
内容分类AI 产品发布与更新
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-afe87798f136d03de33f5eb3