AI圈报
论文研究普通

TaH2:用自适应循环 Transformer 改进测试时扩展

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Improving Test-Time Scaling with Adaptive Looped Transformers

内容摘要

针对循环 Transformer 在测试时扩展上的不足,研究者提出 TaH2,通过前瞻深度监督联合后训练主干网络与迭代决策器,让额外迭代只作用于真正受益的 token。在 AIME 基准上,TaH2 将准确率-算力斜率提升 53%(2.74 对 1.79),同等测试算力下峰值准确率超出非循环基线约 3.4 分;迭代深度从 2 增至 8 时,其增益从 +2.8 分扩大到 +3.9 分。代码已开源。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-b5b34f0e7124b8f2bb918d38