AI圈报
产品发布 / 更新普通

EAGLE-4 投机解码提速实测

信息来源:X:Rohan Paul (@rohanpaul_ai)·
原始标题:Some of the most useful inference work right now is happening in the speculative decoding component.

内容摘要

EAGLE-4 在 27B 模型单请求下达到 863.8 tokens/s,为 DFlash 2 的 1.28 倍、DSpark 的 1.40 倍。它保留“草稿—验证”循环,改进集中在草稿侧:自适应草稿结构和更廉价的草稿 LM head,由小模型预猜多个 token、目标模型一次前向校验,输出结果不变,测试环境约快 3 倍。
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-afe87798f136d03de33f5eb3