模型发布 / 更新普通
InternLM 推出 ResOPD:稀疏在线策略蒸馏的尾部残差化方法
原始标题:InternLM/ResOPD
内容摘要
上海人工智能实验室 InternLM 项目发布 ResOPD,一种仅用教师模型 Top-k 概率和学生采样 token 概率即可估计全词表 reverse-KL 梯度的稀疏在线策略蒸馏方法,教师传输量和前向次数与稀疏 OPD 持平。
内容分类AI 模型发布与更新
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源上海人工智能实验室 InternLM:原创项目
站内情报编号intel-3aec189810119851f0e43662