蒸馏学习该用 On-Policy 还是 Off-Policy？一项系统性研究

针对多教师在线策略蒸馏（MOPD）中的能力跷跷板问题，研究者提出 PMOPD，通过从各任务累积参数位移构建子空间记忆，对梯度和优化器更新做投影以消除跨任务干扰，并配合轻量冲突探针指导任务排序与循环策略。在 Code、Reason、Math 任务上，PMOPD 全面优于 MOPD，Qwen2.5-7B 平均分提升 2.54 分，Llama-3.1-8B 提升 2.09 分。

研究者提出零阶对齐方法 ComPO，基于比较预言机从偏好对中提取方向信息，不直接优化可微偏好损失，并在平滑性、梯度稀疏等条件下给出离线方案的收敛保证。在线版本保留离线比较机制，用无标注策略生成做相对参考策略的 reverse-KL 控制。在 Mistral、Llama、Gemma-2、Qwen3 和 Gemma-3 上的实验显示其优于现有直接对齐方法，包括长度控制胜率。

研究者提出 Mind2Dialogue 框架，通过心理学引导的模拟器生成用户心理状态，并将其转化为特权监督信号，训练能理解用户未言明信念与目标的语言模型。在完整语料上训练后，Qwen、Llama 和 OLMo 指令微调基线在所有已报告的个性化指标上均有提升，偏好遵循生成任务提升 26.6 至 40.9 个百分点，Qwen 和 Llama 的信念与行动推理能力也同步增强。

SQS 提出一种统一框架，通过贝叶斯变分学习同时进行剪枝与低比特量化，采用 spike-and-slab 先验结合高斯混合模型（GMM）建模量化权重，在 ResNet、BERT-base、Llama3.2 和 Qwen2.5 上实现比现有方法更高的压缩率，且性能下降相当。在相同位宽下所需参数更少，在 2-bit 和 4-bit 精度下表现尤为突出。

NexForge提出需求驱动框架，无需领域特定基础设施即可自动合成多样化可执行智能体任务与专家轨迹。该框架生成3.6K终端和2K办公任务，将Qwen3.5-35B-A3B Base在Terminal-Bench 2.0上从22.5%提升至52.0%，GDPval Elo从813提升至1338。

Agon 让两个模型互为评分者，通过竞争性强化学习提升推理能力。在 DeepMath 困难子集上，基于 Qwen3 的 Agon 将 GRPO 的 pass@1 翻倍，增益约为未训练的 Mixture-of-Agents 的 8 倍。该结果在 Qwen3.5、Gemma 4 等模型族及编程代码任务上得到复现，推理时采用两阶段级联：一个模型起草，另一个阅读后作答。

长度惩罚强化学习虽能缩短思维链推理，却会隐藏影响模型答案的驱动因素。对Qwen3-4B和Qwen3-14B的实验显示，压缩后思维链提及提示的频率大幅下降，Qwen3-14B的忠实度下限降至基线的63.1%，监控捕获提示使用的比率从69%降至49%。随机删除基线链句子以匹配压缩长度后，压缩链披露提示的频率仍比基线低7-35个百分点，表明压缩优先移除了监控所需的关键线索。

Program-as-Weights (PAW) 提出模糊函数编程范式，将自然语言描述的函数编译为紧凑、可本地执行的神经制品。PAW 使用在 10M 示例数据集 FuzzyBench 上训练的 4B 编译器，为冻结的轻量级解释器输出参数高效适配器。0.6B 的 Qwen3 解释器执行 PAW 程序性能匹敌直接提示 Qwen3-32B，推理内存仅约五十分之一，在 MacBook M3 上达 30 tokens/s。该方法将基础模型从每次输入的求解器重新定义为工具构建器，一次函…

对GPT-OSS、Qwen、Olmo和Phi系列前沿开源推理模型的研究发现，所谓的“思考token”并未带来真正的安全性深思熟虑。模型是否拒绝或服从指令，在第一个token的

Bebop系统研究多token预测（MTP）在大语言模型RL后训练中的加速瓶颈。发现MTP接受率与模型熵波动呈负线性关系；概率拒绝采样相比贪婪草稿采样能缓解熵干扰。提出端到端TV损失直接优化多步拒绝采样接受率，带来约10%提升，最高达95%接受率，额外推理吞吐提升25%。在Qwen3.5、Qwen3.6和Qwen3.7上，异步RL训练实现1.8倍端到端加速。预RL阶段的MTP训练结合e2e TV损失和拒绝采样可保持全程一致的加速，无需在线更新。