AI圈报
论文研究普通

长程规划智能体:预训练与OPD蒸馏研究

信息来源:X:Rohan Paul (@rohanpaul_ai)·
原始标题:No amount of post-training cleanly fixes weak long-horizon foundations: noisy trajectories compound …

内容摘要

论文发现,后训练无法修复薄弱的长程规划基础:噪声轨迹会累积错误,稀疏奖励导致信用分配不当,冲突教师引发遗忘。研究建议优先训练清晰世界模型和长轨迹,奖励信号过稀疏时采用OPD(on-policy distillation),并避免合并规划策略不兼容的教师。OPD在长程噪声场景下优于结果奖励GRPO,因教师反馈贯穿整个轨迹而非仅在末端。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-281581941f8f6d61ce7f97b7