Stanford 研究发现 AI 基准测试常常测不出它声称测量的东西

斯坦福团队总结三年构建医疗 AI 基准的成果，PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务，HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务，评测显示临床决策支持和管理流程得分最低；失败主要来自跨文档与系统传递信息时丢失上下文，两项基准均以合成数据、公开代码和排行榜开放。

Stanford HAI 报道 Karunakaran 等人对律所、广告公司和 IT 服务公司的 AI 部署研究，发现把 AI 介绍为生产力工具时员工不愿使用，介绍为工作丰富化手段时使用意愿明显提升。在一家律所的对照观察中，以丰富工作为目标引入 AI 工具 LawBot 的部门，使用量比强调提效的部门高 58%，尝试新用法多 70%。研究还强调配套培训、探索时间和调整考核指标的重要性。

Stanford HAI 撰文解读 AI100 于 2026 年发布的第三份报告，认为 AI 的发展速度已超出预期和治理能力。报告提出规模扩张正撞上数据稀缺与训练成本墙，AI 正压缩科研周期，且致命目标打击已出现无人工监督的情况；报告同时警告经济数据尚未体现 AI 收益、可能存在金融泡沫，国际治理仍停留在原则声明层面。

Stanford HAI 数字经济实验室于 2026 年 6 月推出按月更新的 AI Economic Indicators 仪表盘，实时追踪 AI 采用对就业、工资、消费者剩余与 AI 使用的影响。

斯坦福HAI支持的研究分析了25万条人与Claude的匿名对话，发现56%的协作涉及高后果、难以逆转的任务，而非低责任琐事。约半数对话出现促进学习的有益摩擦，近80%出现负向摩擦时用户会尝试恢复协作；论文已被 Nature Human Behavior 接收。

斯坦福 RegLab 团队用 LLM 流程审查全美 9，623 个地方司法辖区的 900 万条法律条款，筛出约 10，000 条疑似歧视性法律，估计至少 5000 万美国人生活在存在明显歧视性法律的城市、县或镇。该流程在识别差别待遇上准确率超 90%，并正确标记了人工标注者认定为"高优先级"条款中的 88%，相关论文发表于 ICAIL。

UC Berkeley 等机构发布 CyberBinGym 基准，评估 AI 智能体在无源码、无漏洞描述、无触发输入的 1-day 场景下，仅凭 stripped 的漏洞与补丁二进制能否恢复并利用真实漏洞，含 100 个来自 53 个开源项目的任务。

作者实测 Claude Fable 5.2 与 Gemini 4 Carbon 并对比后认为，Fable 5.2 的突出差异在于审美，这是无法用 Benchmark 评估但可直观感受的东西。

Microsoft Research 发布对 Lazarus 后门技术的研究，重编程 LLM 中少于 10 个休眠神经元即可在没有训练的情况下给基于该模型的 Agent 安装后门。

Wiz Research 介绍其 Cyber Model Arena v3.9 的基准设计方法，该基准覆盖 26 个模型、59 个智能体和 327 道挑战，分代码漏洞、API 安全、Web 安全和云安全四类。