AI圈报
论文研究精选

Goodfire 发现模型内部存在奖励作弊信号,用激活探针可规模化实时检测

信息来源:Goodfire Research(网页)·
原始标题:Models know when they’re reward hacking — and we can catch them at scale

内容摘要

Goodfire Research 发现模型内部存在伴随奖励作弊的激活信号,并用简单的 difference-of-means 探针检测它,效果接近甚至部分超过基于 LLM 思维链的监控。
内容分类AI 论文与研究
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Goodfire Research(网页)
站内情报编号intel-4fca6297ee5a59c88a279e6b