教程 / 实战普通
Uno:用离散扩散为LLM实现无损加速
原始标题:Unlocking Lossless Speedups in LLMs via Discrete Diffusion
内容摘要
研究者提出扩散增强LLM(diffusion-augmented LLMs),通过轻量扩散权重并行生成多个token,在不引入草稿模型或牺牲AR模型质量的前提下加速生成。配套的Ψ-Spec采样器实现无损加速,Uno模型吞吐量优于主流投机解码方法,较基础AR模型最高提速3倍。8B Uno在智能体工具使用、编程和长上下文推理基准上超越26B DiffusionGemma及Mercury 2。
内容分类AI 教程与实战
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-5713461e44bb48a145ffd4a7