AI圈报
论文研究普通

Prefix Sliding:一种高效测试时扩展的新方法

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Prefix Sliding for efficient test-time scaling

内容摘要

研究者提出 Prefix Sliding 方法,在推理过程中丢弃非前缀且不在最近数千 token 窗口内的中间推理 token,从而将内存需求限制为常数,支持高效的长时程测试时扩展。无需训练即可让现有模型速度提升 3 倍且保持性能;结合强化学习训练可支持超过十万 token 的推理轨迹,并优于摘要中间 token 或普通滑动窗口方法。代码已开源。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-11a410c34e8bce08c143ae83