论文研究普通
Pivot-SD:面向掩码扩散语言模型的高效自蒸馏框架
原始标题:Pivot-SD: Efficient Self-Distillation for Masked Diffusion Language Models
内容摘要
Pivot-SD 是一个面向掩码扩散语言模型(dLMs)的离线自蒸馏框架,仅监督去噪过程中对最终回答影响最大的"关键承诺"(pivots),通过信息增益指标衡量其对剩余掩码位置不确定性的降低程度来筛选。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-bdcd80d06dcae4197ee01a04