AI圈报
论文研究普通

Base Labs 研究:on-policy self-distillation 存在偏差,并非持续学习银弹

信息来源:Baseten 工程博客(网页)·
原始标题:The bias of on-policy self-distillation

内容摘要

Base Labs 在 11 月 6 日的研究更新中指出,on-policy self-distillation(OPSD)虽在部分场景仍有用,但不值得继续投入研究。作者认为,OPSD 的教师模型已知道答案,无需检查、回溯或保留余地,这种稠密损失主要带来偏差,且可能只保留旧知识而学不到新知识。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Baseten 工程博客(网页)
站内情报编号intel-1ae7d3d69d2c9bddf6f2e117