AI圈报
论文研究普通

Looped Flows:循环模型推理新训练法

信息来源:X:Elvis Saravia (@omarsar0, DAIR.AI)·
原始标题:Interesting paper to improve recurrent reasoning. Looped models are great because you get more reas…

内容摘要

新论文提出 Looped Flows,用局部去噪目标训练循环架构,让每次隐藏状态更新彼此关联,解决以往梯度只流经最后几步、早期更新学不到东西的问题。作者称该模型在 6 个推理基准中的 5 个上优于此前的循环模型。推理时模型沿概率流运行,更细的时间网格可换取更多算力,不同起始噪声在存在多解的任务上可产生不同有效答案。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Elvis Saravia (@omarsar0, DAIR.AI)
站内情报编号intel-4bb1a24b735632d8aa4259be