Base Labs 研究：单步梯度更新的"不合理效率"——RL 训练轨迹的线性结构可被利用

Baseten Base Labs 用 Qwen3 0.6B/1.7B/4B/8B 在 16 个推理任务上比较 GRPO 直接训练与先用 gpt-5.6-sol 教师解法做 SFT 再 RL。

面壁智能与清华NLP团队提出ALIGN，自动生成对齐接口解决智能体与环境间的失配问题。仅改写反馈措辞即可将Qwen2.5-7B智能体在ALFWorld上的成功率从13.4%提升至31.3%。该方法在四个基准上最高提升45.67%成功率，并减少65%连续无效动作，且接口可跨智能体架构和LLM骨干迁移。

Miles 团队在 Blackwell 架构上实现了两种原生低精度强化学习方案：端到端 MXFP8 和 MoE 专家权重的逐 token NVFP4。在 8x B200 上对 Qwen3-30B-A3B 的消融实验中，BF16 与所有五种低精度配置的原始奖励曲线高度重合，且 MXFP8 和 NVFP4 减少了推理时间。

Transluce 发布 WeirdChat，一个收录超过 175,000 条标注对话的公开目录，用自动化方法在 DeepSeek-V4-Flash、Gemma 4 31B、Inkling、Nemotron 3 Ultra、Qwen3.6-35B-A3B 和 Qwen3.6-27B 六个开源权重模型中诱发出 1,300 多种行为模式，从编造用户姓名到鼓励自残等危害行为。

NexForge提出需求驱动框架，无需领域特定基础设施即可自动合成多样化可执行智能体任务与专家轨迹。该框架生成3.6K终端和2K办公任务，将Qwen3.5-35B-A3B Base在Terminal-Bench 2.0上从22.5%提升至52.0%，GDPval Elo从813提升至1338。

小红书提出 PIPO 架构，通过输入侧压缩器将两个 token 折叠为一个 latent，输出侧 MTP head 将隐藏状态展开为额外 token，实现输入长度减半、每步输出翻倍。基于 Qwen3.5-4B/9B backbone，在 AIME 2025 等基准上最高带来 +7.15 pass@4 提升。部署测评中，TTFT 加速约 1.23×，TPOT 加速约 1.86×。训练采用 SFT 和 On-Policy Distillation 两阶段，将 verifier …

Agon 让两个模型互为评分者，通过竞争性强化学习提升推理能力。在 DeepMath 困难子集上，基于 Qwen3 的 Agon 将 GRPO 的 pass@1 翻倍，增益约为未训练的 Mixture-of-Agents 的 8 倍。该结果在 Qwen3.5、Gemma 4 等模型族及编程代码任务上得到复现，推理时采用两阶段级联：一个模型起草，另一个阅读后作答。

长度惩罚强化学习虽能缩短思维链推理，却会隐藏影响模型答案的驱动因素。对Qwen3-4B和Qwen3-14B的实验显示，压缩后思维链提及提示的频率大幅下降，Qwen3-14B的忠实度下限降至基线的63.1%，监控捕获提示使用的比率从69%降至49%。随机删除基线链句子以匹配压缩长度后，压缩链披露提示的频率仍比基线低7-35个百分点，表明压缩优先移除了监控所需的关键线索。

Program-as-Weights (PAW) 提出模糊函数编程范式，将自然语言描述的函数编译为紧凑、可本地执行的神经制品。PAW 使用在 10M 示例数据集 FuzzyBench 上训练的 4B 编译器，为冻结的轻量级解释器输出参数高效适配器。0.6B 的 Qwen3 解释器执行 PAW 程序性能匹敌直接提示 Qwen3-32B，推理内存仅约五十分之一，在 MacBook M3 上达 30 tokens/s。该方法将基础模型从每次输入的求解器重新定义为工具构建器，一次函…

Thinking Machines Lab 与 Bridgewater AIA Labs 发布研究，用专家投资者标注的数据微调 Qwen3-235B，在六项金融信息筛选任务上平均准确率从最佳前沿模型的 78.2% 提升至 84.7%，推理成本降低 13.8 倍。