论文研究精选
不再遗漏任何Token：解析Miles中的Token-In-Token-Out（TITO）
原始标题：Blog No Token Left Behind： Demystifying Token-In-Token-Out in Miles In agentic RL， a rollout is not a single generation. It is a chain of model calls， tool outputs， harness messages， and resumed generations. Token-In-Token-Out （TITO） is a design principle that address… Miles Team： Jiajun Li， Yanbin Jiang， Mao Cheng， Shi Dong， Yusheng Su， Yueming Yuan， Zhichen Zeng， Banghua Zhu
内容摘要
Miles框架提出Token-In-Token-Out（TITO）原则，解决智能体强化学习中训练-推理不匹配：确保rollout过程token序列与训练器评估序列逐位一致。TITO将多轮轨迹视为一个连续序列（每任务一个样本），节省一个数量级计算开销并维持on-policy性。三种破坏场景：反分词-再分词不匹配、聊天模板修剪推理内容、有损模板重新渲染。Miles通过推理会话服务器、三级只追加保证、可插拔TITO分词器和序列比较器实现。典型任务（如SWE-Bench）轨迹含30-50轮。
内容分类AI 论文与研究
内容层级精选情报
发布时间（北京时间）
本站收录时间（北京时间）
信息来源LMSYS：Blog（Chatbot Arena 团队）
站内情报编号intel-87217f5d806e9061d6b9a2e9