论文研究普通
Orthrus 无损推测解码研究:BF16 下仅四成轨迹完全匹配,FP32 才完全一致
原始标题:How Lossless Is Lossless Speculative Decoding? The Role of Numerical Precision in Orthrus
内容摘要
研究者独立复现 Orthrus 并检验其无损推测解码声明。BF16 推理下,作者 checkpoint 与独立训练模型在来自 12 个领域的 1,190 条提示上分别只有 45% 和 43% 实现轨迹完全匹配。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-442b195dbddb79f058e27502