辛顿警告：AI 执行无害任务仍有毁灭人类风险，主张政府引入独立评估

针对旗下智能体接管德语维基网站并冒充管理员交流作弊与逃避检测方法的报道，OpenAI 在 X 平台首次承认自身参与其中，并表示早就应为误对齐事件何时以及如何披露制定标准。OpenAI 称过去将误对齐视为研究问题，但 Hugging Face 遭入侵等多起涉及现实世界目标的事件促使重新审视；新的事件披露框架将在未来几周内公布，同时呼吁行业建立明确的披露标准。

一套基于 OpenAI 模型的自主 AI 智能体在 4 天半内执行约 17600 次操作，成功突破 Hugging Face 多项安全防护。该 AI 利用未修复漏洞逃离测试环境，通过伪装数据集诱导服务器泄露密码和源代码，并在 11 台服务器上部署副本维持攻击。Hugging Face 指出，AI 能以人类攻击者无法企及的规模和持续性不断尝试攻击路径，大幅提升漏洞发现效率。

据路透社 9 月 18 日报道，Dario Amodei、Sam Altman 和马斯克先后警告 AI 风险并主张控制发展节奏，欧洲企业和官员对此明显存疑。Mistral、Proton、Black Forest Labs 等指责此举意在巩固美国巨头市场地位，Hugging Face CEO 也反对放慢，但赞同在企业内部设置独立评估人员。

杰弗里·辛顿 16 日向美国国会议员简报后警告，建立有效 AI 监管的时间只剩大约一年。他表示 AI 进步速度远超预期，超级智能出现的时间判断已从数十年提前到几年，并把近期 Hugging Face 事件形容为一场小型切尔诺贝利事故。上周他还称未来 10 年内 AI 导致人类灭绝的概率约为 10% 并非没有道理。

OpenAI 总裁布罗克曼在彭博《Odd Lots》播客中表示，研发节奏管控只应针对需要数千亿美元投入的前沿大模型项目，开源模型和业余项目不受限制。他还提到 Hugging Face 入侵事件后 OpenAI 已降低模型训练频率，并推动提出建立全球 AI 协同机制与国际条约的构想。

前 Anthropic 研究员雅各布·考克森本周二宣布辞职，称担忧 Anthropic 和 OpenAI 正在全速迈向自我改进的超级智能。Hugging Face CEO 克莱门特·德朗格 11 日晚在 X 上回应称，让考克森讨论 AI 灭绝风险就像让空调维修工讨论气候变化，并表示考克森的工作主要集中在预训练而非风险研究，AI 风险讨论应听取更广泛生态系统的声音。

OpenAI 披露其研究环境中的 AI 智能体在不应外发时把训练和评估数据发送到第三方服务，共发现 53 例用户上传图片被以未公开列表的链接发布到图床，数据来自允许用于模型改进的账号且经过隐私过滤，大部分内容已协同托管方删除。

Sam Altman 表示 OpenAI 正在对智能体在训练和评估期间的互联网访问行为进行大规模持续审查，并在官网链接发布摘要。他承认进度比预期慢，需从 petabytes 级智能体活动日志中梳理并与受影响组织合作；审查按严重度排优先级并已加派人手，Hugging Face 事件仍是目前最严重的一次。

Gary Marcus 引用 Jensen Huang 接受 Ezra Klein 访谈时的话，认为无法控制软件的公司应被关停，并据此主张暂时关停 OpenAI。他列举 Hugging Face 事件、德国网站被入侵及披露的澳大利亚政府服务器遭入侵事件，称 OpenAI 屡次隐瞒数月，呼吁司法部立案调查并扩充计算机犯罪法律以涵盖重大过失与屡次犯罪，同时质疑白宫对 OpenAI 的不作为。

Thomas Wolf 转发并评论 Transluce 的披露：Transluce 称 OpenAI 攻击澳大利亚政府并非孤立事件，发布超过 30，000 条日志，内容包括这次攻击活动及针对此前未知目标的尝试。