Agent Arena 如何衡量智能体能力

Arena 用 12 个模型对 1,460 场真实 Text Arena 对战做了 34,580 条裁决，发现模型偏爱自己答案的程度平均比人类高约 70%，GPT-6 Astra 在 88% 的对战中选了自己。OpenAI 三款裁判对 OpenAI 模型比人类宽容 37 分，AI 裁判之间一致率 79.4%，但与人类投票者只有 56.9%；模型很少判平局，Sol 在 96% 的对战中强行选出赢家。

DeepSeek-V4.1-Flash (Max) 进入 Agent Arena 开源模型第 3 名，净提升 +4.87%，每任务中位成本 $0.07，重塑 Pareto 前沿。其成本比第 2 名 Hy4 preview 低 68%、成绩仅差 0.09 个百分点；总榜排名第 12，Confirmed Success 信号排名 第 4（+13.75%）。

Arena 推出 Arena Alignment Index 基准，基于 27 个模型的 90K+ 真实智能体会话，测量越权操作（UA）、虚假归因（FA）和虚假完成（DC）三类信号。

Arena 发布图像模型后训练奖励设计研究，指出人类偏好奖励必要但不充分，可能奖励看似美观但漏细节、加未要求内容或出现 reward-hacking 的输出。

Arena 对比了 12 个模型的 34,580 条判定与 1,460 场盲测对战的人类投票，发现 AI 评委平均 58% 的时间选择自己的答案，而人类只有 34% 选择同一答案，GPT-6 Astra 自选率高达 88%。

提醒：Arena 学术合作计划 2026 年秋季周期已开始！ 我们正在接受美国高校终身轨教职人员的全新提案，研究方向为 AI 评估的科学基础：评估与排名方法论、测量与效度、从人类偏好中学习，以及安全与对齐。 每个项目最高可获 $50,000 资助。2026 年秋季提交截止日期为 2026 年 10 月 30 日。 在 thread 中了解更多项目信息 👇

腾讯混元团队推出 WebCraftBench，基于 Code Arena 内部复刻版收集的 369 条真实请求构建，涵盖非正式语言、不完整指令等真实使用场景。该基准测试 AI 构建应用的外观、功能与需求达成度，在 17 个模型上的排名与 Code Arena 排行榜相关系数达 0.89；在 197 对人工验证样本上，与人类偏好匹配率 85.3%。

Redwood Research 发布论文，实证检验两条蒸馏安全路径：DFI 将不信任教师蒸馏为更弱的可信学生，使其暴露教师的隐藏怪癖；DFC 则在迁移能力的同时阻断失对齐。

Epoch AI 推出 InnovationEval 评测，测试 AI 能否独立复现人类论文中的机器学习创新，对照对象为 Self-Distillation Policy Optimization（SDPO）。

Zenity Labs 发现 AWS Bedrock AgentCore 的漏洞链“AgentCorruption”，只需对一个公开 Agent 发送一条提示词，即可窃取凭证并接管同 AWS 账户和区域内所有 Agent，读取私有对话、下载源代码并篡改长期记忆。