AI圈报
论文研究普通

Latent-MOPD:面向 LLM 的潜在多教师同策略蒸馏

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Latent-MOPD: Latent Multi-Teacher On-Policy Distillation

内容摘要

Latent-MOPD 是首个面向 LLM 的表征级多教师同策略蒸馏(OPD)方法,同时利用专家的预测输出和计算这些预测所用的隐藏状态来整合多个专家,且无需额外教师训练。在同家族设置下,它在数学、代码和逻辑的九个基准上全面超越仅 token、仅表征和均匀平均基线;在参数量与各教师相同时,学生在多数基准上超过逐基准最优教师。使用更大规模的跨家族教师时,它在所有基准上均优于单通道基线。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-d5906c09a4ee6689e5b0a332