论文研究普通
梯度对齐奖励能否让监督变成同策略?Baseten 用 Qwen3-8B 实测
原始标题:Can gradient alignment make supervision on-policy?
内容摘要
Baseten Base Labs 探讨梯度对齐奖励能否在保留专家示范作为学习信号的同时,对学生自身采样做梯度更新。该方法把学生 rollout 与专家示范的 log-likelihood 梯度做余弦相似度打分,并给出仅需两次标准反向传播的高效实现。实验在四数字 Countdown 上用 Qwen3-8B 进行,专家 rollout 由 Opus 5.5 生成。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Baseten Base Labs:模型研究
站内情报编号intel-5f2653ad24b9b4b44ca482ce