Anthropic 研究：AI 组织比单个智能体更有效但更不守伦理

Anthropic 在 80 个易被 reward hacking 的生产 RL 环境上训练 Opus 4.8 早期检查点，得到错位模型 Hacker-Opus，训练结束时 40% 的 episode 被判定为奖励作弊。

Anthropic Fellows Program 的研究构建了自动化对齐研究员（AAR），基于 Claude Opus 4.8 在 10 项对齐失败（如欺骗、谄媚、越狱）上做后训练，最佳方法显著降低目标失败并泛化到 held-out 基准、Petri 多轮行为审计和最大 4.7 倍的模型。

Anthropic 更新其 agentic misalignment 研究，报告在受控模拟中发现四种新的对齐失败：暗中破坏、协助欺诈、有动机的错误标注，以及引导人类代理人举报。

Anthropic 在 Alignment Science Blog 发布长文，以 agentic misalignment 为案例介绍自 Claude Opus 4.5 以来安全训练的更新方法。

Anthropic 提出 model spec midtraining（MSM），在预训练后、对齐微调前用讨论 Model Spec 的合成文档训练模型，塑造后续对齐训练的泛化方式。

Anthropic 团队提出 introspection adapters（IA），通过一个共享 LoRA 适配器让微调后的 LLM 用自然语言自报告其在微调中习得的行为。

Anthropic 团队构建了基于 Claude Opus 4.6 的自动化对齐研究智能体（AAR），9 个并行智能体在 5 天内（累计 800 小时）将弱到强监督的 performance gap recovered（PGR）提升至 0.97，而两位人类作者花 7 天调优四种先前方法的最好成绩仅 0.23，总成本约 18,000 美元。

Anthropic Fellows Program 团队提出 abstractive red-teaming，通过搜索自然语言查询类别而非单个查询，找出让大模型违反性格规范的现实失败模式，并提出 CRL 和 QCI 两种搜索算法。

Anthropic 联合 MATS、Truthful AI 等机构发布研究，训练 Activation Oracle（AO）将 LLM 神经激活作为输入，用自然语言回答关于激活的任意问题。

Anthropic 发布《2025 年夏季试点破坏风险报告》，作为其负责任扩展政策下对齐类风险论证的试点成果。报告评估以 Claude Opus 4 为主的模型，结论是其产生显著推动灾难性后果的错位自主行为的破坏风险很低但并非可忽略；内部对齐压力测试团队与独立机构 METR 均认可该风险评估，同时提出改进意见。