AI 论文与研究

SlideDP 是面向共享宿主多 GPU 系统的同步数据并行运行时，通过维护单一权威宿主状态、解耦通信路径与状态布局，并对参数传输、梯度聚合和 CPU 更新做流水线化，实现超出 GPU 显存的 LLM 全参数微调。

研究在 Llama3 与 Qwen2.5 系列上做强弱蒸馏实验，独立改变 rollout 策略、token 级 KL 方向和学习率，发现 rollout 策略并非核心因素：前向 KL 对 rollout 策略极不敏感且表现稳定，反向 KL 则明显更敏感、偏好学生模型自生成的 rollout，而学习率主导遗忘与更新稀疏性。

arXiv 论文发现，伪造的聊天模板标记以保留控制 token 还是普通子词形式进入模型，攻击强度差异巨大，且选择权在服务端分词器手中。在 InjecAgent 基准上，将伪造标记编码为子词使四个开源模型家族中三个的攻击成功率下降 39 到 66 个百分点，Qwen3-8B 因能靠文本推理识别伪造回合差距仅 8 点，抑制推理块后扩大到 50。

针对推理型视觉语言模型（VLM）视觉 token 序列过长导致推理昂贵的问题，研究者提出稀疏上下文同策略自蒸馏框架 SCOPD：学生模型基于剪枝后的视觉 token 生成推理轨迹，由拥有完整上下文的教师模型对同一同策略前缀进行监督，无需真实答案、架构改动或额外推理开销。

FurE 提出一种基于发丝的动物毛发重建方法，无需动物毛发数据集即可从多视角图像恢复可编辑的毛发造型，通过优化根条件潜在场并经 PCA 解码器生成发丝几何。该方法利用表面约束的 Gaussian Frosting 表示结合部位先验重建去毛动物身体，并借助人类头发数据训练的 PCA 解码器缓解动物数据稀缺问题。

新基准 AutoDataBench 要求智能体根据原始基准任务和目标模型的尝试记录，写出满足有效性、新颖性、难度和行为覆盖等验收标准的新任务。在三个可执行智能体任务基准上，默认 45 分钟预算内没有智能体得分超过 20/100；给最强智能体四倍时间后得分大幅提升，但单个可用任务的成本几乎不变。

StructRL 是一个在线强化学习框架，通过将任务分解为可验证子任务、仅在前置子任务完成后给予中间奖励并按完成速度缩放奖励，为长时程 VLA 任务构建结构化中间监督。在 RoboCasa365 和 LIBERO-Long 上，配合 GR00T-N1.5 与 pi 0.5，StructRL 持续优于所评估的在线 RL 基线。结果表明可验证的结构化中间奖励能改善长时程 VLA 后训练，代码已开源。

VoxParity 基准用 14 个行业 183 个场景测试语音智能体是否根据音频线索改变行动，同一文本的音频变化（如 mayday 呼救、儿童声音下注、恐惧低语）应触发不同的工具调用。

研究发现，在 LIBERO、ManiSkill、MetaWorld 和 CALVIN 上对 π_{0.5}、GR00T N1.5/N1.6 等 flow-based VLA 模型做强化学习后训练，参数更新呈现显著低秩，且高度集中在动作专家的 Timestep Modules 中。

AI Night-Scientist 是一个用强化学习教模型何时以及如何跳出可预测推理的智能体框架，基于行动、过程、结果三个维度用 GRPO 训练。相比基座模型，其科研提案的研究方向范围扩大 27.8%、贡献类型增加 14.9%，预测引用影响最高提升 32.0 个百分点，原创性提升 66.2 分。仅提高解码温度无法复现这些增益，指明追求何种创造力的语义引导才是关键。

针对循环 Transformer 在测试时扩展上的不足，研究者提出 TaH2，通过前瞻深度监督联合后训练主干网络与迭代决策器，让额外迭代只作用于真正受益的 token。在 AIME 基准上，TaH2 将准确率-算力斜率提升 53%（2.74 对 1.79），同等测试算力下峰值准确率超出非循环基线约 3.4 分；迭代深度从 2 增至 8 时，其增益从 +2.8 分扩大到 +3.9 分。代码已开源。

EvolvingAvatar 是一种因果生成器，通过测试时训练在交互过程中适配用户面部视频与双人音频，其双人上下文预测目标无需测试时目标动作标注即可提供自监督信号。

FactorEngram 提出一种分解式 n-gram 记忆机制，用共享基向量字典上的稀疏系数替代传统单体嵌入，并让上下文对每个记忆分量单独门控。在 340M 和 1B 参数 Transformer 骨干上，该方法提升了语言建模与下游任务表现；消融实验显示，将记忆分支插入中间层的注意力子层之前是有效配置。

一篇综述提出统一形式化框架，将视频-音频联合生成、跨模态生成与联合编辑定义为同一音视频对分布上的三类问题，并按五个设计维度对方法进行分类。该工作称首次系统梳理联合音视频编辑，将其划分为九类编辑、涵盖 28 种编辑类型，并整理了各场景的方法、数据集与评测指标。

美团提出 LongCat-DeepResearch 深度研究系统，将增强版 LongCat 模型与多智能体工作流结合，通过规划与调查分离、分节并行撰写和全局审阅局部修订来生成有证据支撑的报告。

针对多教师同策略蒸馏（MOPD）中指令跟随反馈的离散度是数学反馈的数倍、从而主导学生更新的问题，研究者提出领域归一化 MOPD（DN-MOPD），按各领域实测离散度重新缩放反馈。

论文提出 AnswerMap，一种免训练、任务无关的黑盒方法，通过行列条带的是/否后验外积生成查询条件下的空间图，并可定义读取方式导出定位等连续输出。

PyroAdapt 用"预训练—检索—排序"框架让山火预测模型适应目标分布：在加州 666 个 0.25x0.25 网格上，选择性排序将日均精度从 21.62% 提升至 24.35–24.57%，Top5% 召回率从 18.70% 升至 22.11–22.79%。

针对 VLM 在视角采择中常默认相机视角的问题，研究者提出 LeRF 框架，训练模型判断是否需要坐标系，并预测以实体为中心的参考坐标系，再由轻量渲染器叠加到图像上辅助推理，无需外部感知模型或显式 3D 重建。该方法先做监督微调学习选择性调用工具与坐标系预测，再用强化学习在空间 VQA 数据上优化，在多个视角采择基准上稳定优于其骨干模型，并超过现有开源方法。

针对多教师在线策略蒸馏（MOPD）中的能力跷跷板问题，研究者提出 PMOPD，通过从各任务累积参数位移构建子空间记忆，对梯度和优化器更新做投影以消除跨任务干扰，并配合轻量冲突探针指导任务排序与循环策略。在 Code、Reason、Math 任务上，PMOPD 全面优于 MOPD，Qwen2.5-7B 平均分提升 2.54 分，Llama-3.1-8B 提升 2.09 分。

研究揭示大语言模型对姓名的 token 化存在系统性不均：在近 50 万个名字和 12 个 LLM 分词器上，部分姓名可直接单 token 访问，另一些则被拆成多个子词，且这种差异与种族、性别相关的姓名元数据分布不均。

研究者推出 SolveEdit 基准，用于评估生成模型通过场景变换完成视觉问题求解的能力，包含 2,728 个案例，并用原子变换契约与 SolveScore 在无需参考输出的情况下衡量完成度与误改。

研究者推出 The Endless Exam 基准，涵盖 14 个参数化数学构造问题族，用可验证的连续质量分衡量模型在已发表数学前沿内外的进展，且不将改进上限封顶在 1。在 69 个实例上评测 9 个模型，虽无模型超越 30 个已发表前沿参考，连续分数仍能区分性能差异，并给出规模-质量曲线。生成器、验证器、参考、模型回答与分析均已开源。

研究用稀疏 crosscoders 分析 LLM 推理中的 on-policy distillation（OPD），发现 OPD 既不创造新特征也不传递教师模型自身特征，学生模型超 98% 高频使用特征的激活率变化在 20% 以内。

研究者提出 RegLLM，一个针对受监管智能体工作流中有限自主性的诊断测试框架，监测引用有效性、来源接地、schema 合规、升级正确性、宪法对齐和不安全动作率六项可信信号。

SeLMRoute 通过先提取与候选模型无关的概率语义证据、再估计候选模型表现的方式实现 LLM 路由，在 LLMRouterBench（15 个数据集、20 个候选模型、11,481 条查询）上平均准确率达 72.08%±0.45，分组五折 out-of-fold 评估为 72.64%，高于最强固定候选的 69.23%。

研究者提出偏好引导适配框架，用二元偏好替代密集掩码监督，把不同提示词模板对同一图像产生系统性差异的"提示词分歧"现象转化为内置偏好监督来源。该方法从跨模板高不确定性区域挖掘局部偏好查询，并用 Region-Localized Preference Optimization（RLPO）配合一致性正则化适配 OVSS 模型。

BaRe-Mem 是一种面向多智能体咨询的在线贝叶斯可靠性记忆，基于中心模型的内部信念表示估计顾问可靠性，并用历史交互更新这些估计，从而调节顾问回答的影响、决定是咨询还是自主推理。

研究对 LLM 涌现性失准（EM）做二阶几何动态分析，发现方向性 Hessian 曲率集中在语义枢轴 token 上，有害-安全差距扩大主要源于安全梯度重叠下降。据此提出的参数级几何缓解框架，在 Qwen2.5-14B-IT 上将自由生成 EM 抑制最多 80.0%，并在四个开源指令模型家族中的另外三个（3B–20B）上验证同一有害子空间控制冻结 EM 响应的条件支持。

RenderRank 是一种从压缩视觉文档表示中学习查询相关性打分的重排序器，不再依赖传统文本 token 序列。在 BEIR 的 11 个数据集上，它减少 16.5-35.5% 输入 token，平均 NDCG@10 达 55.96，超过所有参数量低于 4B 的文本基线及部分更大模型。

研究提出 δ-Vision，用轻量低秩适配器构建逐层视觉记忆，替代视觉 token 在 Transformer 中的重复演化，同时保留全部视觉 token 供文本检索。该方法发现视觉到文本的信息流集中在低维子空间，且轻量 MLP 能以高余弦相似度和低重建误差逼近各层视觉状态。在图像和视频基准上，δ-Vision 在相当或更低计算量下准确率超过视觉 token 剪枝基线，且不丢弃视觉 token。

研究者提出 GEAR，一个以几何为 token 级地址来路由视觉记忆的注意力框架，用于长时程相机控制视频生成。

Tex-Zero 提出无需任何 3D 资产即可训练高保真原生 3D 纹理生成框架，核心发现是 3D 纹理训练只需高质量细粒度颜色信息，几何信息可人工构造。该方法将 2D 图像表示为 3D 空间中的平面并施加 patch 级随机旋转与聚合，据此训练 Tex-Zero VAE 与 Tex-Zero DiT，后者将多视角条件图像同样转为 3D 平面并由 VAE 编码以缩小表示差距。

GeoVerse 通过在预训练 3D 基础模型的几何隐空间中生成、并注入视频生成模型的外观先验，实现世界一致的新视角合成。它从 Wan2.2 VACE 提取多层级特征，经 ControlNet 式适配器注入几何隐扩散模型，并用全局空间记忆聚合已观测与合成内容以保持跨视角连贯。

研究以 1,813 组匹配的美式英语（AmE）与英式英语（BrE）变体为资源，提出免训练的 DiAlign 方法，从数据分布证据估计区域对齐度。AmE 在全部 6 个预训练语料和 21 个后训练数据集中均被偏好，tokenizer 表示更紧凑、预测成本更低，且在中性英语提示下仍是默认生成偏好；改用英式英语提示可向 BrE 偏移，但无法稳定消除 AmE 默认。

该专著提出 PLDR-LLM（幂律解码器表示语言模型）训练与推理的统一理论框架，用有限工作恒等式将行中心学习映射的绝对能量变化分解为参数贡献、带符号交互与数值观测缺陷。实验揭示了观测器与优化器依赖性，否定了所测试的自主行状态候选方案，并支持有限条件预测与状态特定的算子约简。理论区分了精确恒等式、条件动力学主张与有限实证发现，并给出证明、形式化检验与紧凑数值证据。

LEGO-Anything 是一个 Image-to-Code 框架，让编码智能体迭代编写并执行 Blender 代码、检查场景与渲染结果并修订程序，把单图重建为可检查、可编辑、可查询的场景程序。

VideoPhysEdit 提出免训练的物理反事实视频编辑（PCVE）流程，通过刚体物理场景重建还原可复现原视频运动与交互的仿真场景，从而把物理编辑作为干预并生成反事实视频。

KVCMAS 是一个面向多智能体系统的在线 KV cache 修正框架，用紧凑低秩状态表示跨智能体的缓存偏差，并沿智能体工作流链式修正，无需额外参考预填充。

MaLiang-Harness 是一个将 MLLM 驱动的视觉生成组织为持续构建、检查与修订流程的统一框架，用于弥合程序可执行但违反构图、外观或运动要求的 Program-to-Visual（P2V）差距。