AI圈报
论文研究普通

JetSpec++ 投机解码提速最高 7.45 倍

信息来源:X:UCSD Hao AI Lab (@haoailab)·
原始标题:Introducing JetSpec++: we find causal parallel drafting paired with hidden states predictor and anchor token decoder can effectively draf...

内容摘要

UCSD Hao AI Lab 推出 JetSpec++,用因果并行草稿、隐状态预测器和锚点 token 解码器,在当前块验证前先草拟下一块,把草稿与验证流水线化,几乎隐藏全部草稿开销。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:UCSD Hao AI Lab (@haoailab)
站内情报编号intel-080ef63295ded047ed46ada8