论文研究普通
字节 Seed 提出 Recycler:通过隐藏状态回收实现无额外成本的潜在推理
原始标题:Recycler: Cost-Free Latent Reasoning via Hidden State Recycling
内容摘要
字节 Seed 提出 Recycler 架构,把上一 token 的顶层隐藏状态经轻量适配器与当前 token 嵌入一起送入下一步,在解码开销几乎不变的情况下保留跨步连续语义。该架构覆盖预训练、SFT、继续预训练与 RL 全流程,在数学和推理任务上参数效率突出,后期引入仍可超越参数量多 2–3 倍的模型。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源字节 Seed:Research Papers(网页内嵌数据)
站内情报编号intel-c02725f2e769103fad2e7bea