Galahad 让 LLM 重复读取文档成为一次性成本，在 llama.cpp 上将召回测试提升到 100/100

针对多教师在线策略蒸馏（MOPD）中的能力跷跷板问题，研究者提出 PMOPD，通过从各任务累积参数位移构建子空间记忆，对梯度和优化器更新做投影以消除跨任务干扰，并配合轻量冲突探针指导任务排序与循环策略。在 Code、Reason、Math 任务上，PMOPD 全面优于 MOPD，Qwen2.5-7B 平均分提升 2.54 分，Llama-3.1-8B 提升 2.09 分。

研究以 Llama 3.1 8B 为基础，先用 ICLR 2018-2023 官方评审微调审稿模型，再用 ICLR 2024 数据混合官方与模型生成评审训练四个后继模型，发现引入合成评审会压缩评分分布并降低同论文与语料级语义多样性，作者称之为"科学判断坍缩"。

研究者提出零阶对齐方法 ComPO，基于比较预言机从偏好对中提取方向信息，不直接优化可微偏好损失，并在平滑性、梯度稀疏等条件下给出离线方案的收敛保证。在线版本保留离线比较机制，用无标注策略生成做相对参考策略的 reverse-KL 控制。在 Mistral、Llama、Gemma-2、Qwen3 和 Gemma-3 上的实验显示其优于现有直接对齐方法，包括长度控制胜率。

研究发现，固定模型、干净数据和投毒样本数量，仅改变投毒集的选择，LLaMA-3-8B 后门攻击成功率就会从 3% 波动到 80%，随机采样会严重低估最坏情况下的脆弱性。为此作者提出 SAILS，通过数百次微调-评估运行学习集合评分器，对数百万候选投毒集排序并只审计少量候选。SAILS 在留出集上的攻击成功率平均比最强影响力基线高 30 个百分点，并可从小规模迁移到全规模微调。

研究者提出 Mind2Dialogue 框架，通过心理学引导的模拟器生成用户心理状态，并将其转化为特权监督信号，训练能理解用户未言明信念与目标的语言模型。在完整语料上训练后，Qwen、Llama 和 OLMo 指令微调基线在所有已报告的个性化指标上均有提升，偏好遵循生成任务提升 26.6 至 40.9 个百分点，Qwen 和 Llama 的信念与行动推理能力也同步增强。

SQS 提出一种统一框架，通过贝叶斯变分学习同时进行剪枝与低比特量化，采用 spike-and-slab 先验结合高斯混合模型（GMM）建模量化权重，在 ResNet、BERT-base、Llama3.2 和 Qwen2.5 上实现比现有方法更高的压缩率，且性能下降相当。在相同位宽下所需参数更少，在 2-bit 和 4-bit 精度下表现尤为突出。

Multiverse 提出将 LLM 整块删除重构为受限二元优化问题，等价于求解 Ising 玻璃的低能态，从而无需跑 benchmark 即可筛选候选配置。在 Llama-3.3-70B-Instruct 压缩 50% 时，该方法在 MMLU 上比最佳同类块删除方法高出近 23 个百分点。

检索增强型LLM在消费推荐中易受GEO内容污染影响，成为虚假产品的无意推广者。新基准FORGE在225个真实产品、15个类别和5个消费场景中测试12个商业及开源LLM，发现所有模型均易受攻击：单个污染页面即可造成最高27%的受骗率，替换全部前3个结果时升至73.8%。

StartupBench 是一个基于市场验证的 AI 初创公司产品构建的端到端智能体基准，从真实采用的产品工作流中提炼任务，而非研究者预设任务。在统一智能体框架下，最强模型也仅能完成约 30% 的任务，复杂指令遵循和领域专业知识是主要失败来源。该基准揭示了当前通用智能体在真实用户任务上的能力边界。

研究发现，Anthropic、OpenAI 和 Google 等专有 LLM 的加密推理轨迹块可跨会话、用户和模型互换，攻击者将其注入同提供商防护较弱的模型，即可强制其以明文输出推理内容。