观点 / 方法普通
METR 实现并评估用于 eval 安全的逐动作监控器
原始标题:Implementing and Evaluating a Basic Per-Action Monitor for Safer Evals
内容摘要
METR 为降低自家评测中智能体造成现实危害的风险,实现并部署了一个实时逐动作监控器,由 LLM 评审每个工具调用,超过 3/10 可疑度即阻断并交人工审查。UK AISI 在真实事故转录上验证 10 个恶意转录全部以至少 8/10 分被检出,约 98% 良性动作评为 0 分,实测误报率约 0.025% 每动作;监控带来约 85% 成本和 43% 延迟开销。