论文研究普通
验证后再蒸馏:TGOPD 用提示词级教师门控改进同策略蒸馏
原始标题:Verify Before You Distill: Prompt-Level Teacher Gating for On-Policy Distillation
内容摘要
异步同策略蒸馏(OPD)中教师节点 GPU 利用率平均仅 9.8%,59% 时间低于 5%。TGOPD 利用空闲算力生成教师探针,由验证器评估各提示词下教师可靠性,仅在通过门控时启用密集 token 级 OPD 信号,否则改用验证器驱动的 GRPO,将教师节点平均利用率提升至 78.9%。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-bb9201f6e76b6bdf43b0b465