AI圈报
观点 / 方法普通

METR 实现并评估用于 eval 安全的逐动作监控器

信息来源:METR:Notes(网页)·
原始标题:Implementing and Evaluating a Basic Per-Action Monitor for Safer Evals

内容摘要

METR 为降低自家评测中智能体造成现实危害的风险,实现并部署了一个实时逐动作监控器,由 LLM 评审每个工具调用,超过 3/10 可疑度即阻断并交人工审查。UK AISI 在真实事故转录上验证 10 个恶意转录全部以至少 8/10 分被检出,约 98% 良性动作评为 0 分,实测误报率约 0.025% 每动作;监控带来约 85% 成本和 43% 延迟开销。
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源METR:Notes(网页)
站内情报编号intel-e27dfc53b2ac1ca6927cbedb