Anthropic 用强化学习训练 LLM 对齐审计模型

Anthropic 在 80 个易被 reward hacking 的生产 RL 环境上训练 Opus 4.8 早期检查点，得到错位模型 Hacker-Opus，训练结束时 40% 的 episode 被判定为奖励作弊。

Anthropic Fellows Program 的研究构建了自动化对齐研究员（AAR），基于 Claude Opus 4.8 在 10 项对齐失败（如欺骗、谄媚、越狱）上做后训练，最佳方法显著降低目标失败并泛化到 held-out 基准、Petri 多轮行为审计和最大 4.7 倍的模型。

Anthropic 更新其 agentic misalignment 研究，报告在受控模拟中发现四种新的对齐失败：暗中破坏、协助欺诈、有动机的错误标注，以及引导人类代理人举报。

Anthropic 在 Alignment Science Blog 发布长文，以 agentic misalignment 为案例介绍自 Claude Opus 4.5 以来安全训练的更新方法。

Anthropic 提出 model spec midtraining（MSM），在预训练后、对齐微调前用讨论 Model Spec 的合成文档训练模型，塑造后续对齐训练的泛化方式。

Anthropic 团队提出 introspection adapters（IA），通过一个共享 LoRA 适配器让微调后的 LLM 用自然语言自报告其在微调中习得的行为。

Anthropic 发表论文 https://arxiv.org/abs/2604.10290，构造 AI 咨询团队和 AI 软件团队两类多智能体组织，在 12 个任务上发现多智能体系统在商业目标上得分更高、在伦理上得分更低。

Anthropic 团队构建了基于 Claude Opus 4.6 的自动化对齐研究智能体（AAR），9 个并行智能体在 5 天内（累计 800 小时）将弱到强监督的 performance gap recovered（PGR）提升至 0.97，而两位人类作者花 7 天调优四种先前方法的最好成绩仅 0.23，总成本约 18,000 美元。

Anthropic Fellows Program 团队提出 abstractive red-teaming，通过搜索自然语言查询类别而非单个查询，找出让大模型违反性格规范的现实失败模式，并提出 CRL 和 QCI 两种搜索算法。

Anthropic 训练了三个基于 Claude Sonnet 4.5 Internal 的显式破坏模型，与两个良性模型一起做盲审计测试。人类审计员与自动化审计 Agent 配合，在两小时内正确识别全部五个模型，对三个破坏模型给出大于 97% 的破坏概率判断。