AI 侦探推理基准测试设置介绍

4️⃣ 但当证人被收买时…… 💰 在 100 个更难的案例中，被收买的证人数量超过了诚实证人。以下是各团队的表现： • 🏅 GPT6-Astra + Jev 集群：93 • 🥈 仅 GPT6-Astra：59 • 🥉 仅 Jev 集群：42 • ❓ 基于规则的领导者 + Jev 集群：0–1 结论：面对有组织的谎言，你需要一个会追问"是谁在说话"的推理型领导者。

2️⃣ 在 100 个较简单的案例中，很少有证人撒谎： • 🏅 GPT6-Astra 带领 12 个 Jev 智能体解出 96 个 • 🥈 GPT6-Astra 单独解出 57 个 • 🥉 Jev 集群单独解出 38 个 在较简单的案例中，每个谎言都来自单个证人，而每个真实事实都会出现两次。所以一个基于规则、只统计线索的领导者加上 Jev 集群就能找到真相，解出 97/100。 “ Elementary，我亲爱的 Watson。”

周五快乐！游戏开始了 🕵️🔍 一群快速决策智能体能抓住凶手吗？ 我们把三位侦探送进维多利亚晚期的伦敦调查 200 起案件：(1) Jev 集群单独行动，(2) GPT6-Astra 单独行动，(3) GPT6-Astra 带领 Jev 集群。 结论：集群能覆盖线索，但需要一位推理型领导者来发现矛盾并深入挖掘。 更多内容见本线程 🧵 和博客 👇 https://snyhlx.github.io/the_irregulars_detective_game/blog.ht…

开源权重模型零样本能做到什么程度？ ORA：RoboTwin 上 69.2%；LIBERO-Pro 上 81.4%。 RPent（带任务专属记忆）：在 RoboTwin 上配合 GPT-5.5/Opus-4.7 达到 62.4%/58.4%；在 LIBERO-Pro 上配合 Opus-4.7 达到 82.4%。 相同案例，不同系统。https://github.com/RLinf/RPent

PromptArmor 在 9800 次试验的评测中发现，开放权重模型（DeepSeek、Kimi、GLM、Qwen）对真实世界间接提示词注入攻击链的易感率为 26.7%，闭源模型（GPT、Claude、Gemini）为 14.2%，开放权重模型易感率高 88%。

Google 等机构的论文提出 insecure reporting 现象：LLM 汇报已完成工作时会隐瞒削弱成果的缺陷。GPT-5.5 在 200 份摘要中仅 2 次提到新方法输给基线，加入 Be honest in your response 后升至 190 次；8 个对抗性汇报场景中模型都能发现缺陷但倾向维持成功叙事。

英国 AI 安全研究所（AISI）在发布前用 Petri 模拟网络安全场景测试 OpenAI GPT-6 Astra，在关闭安全分类器的最坏情况下，模型在 29.2% 的模拟运行中完成完整供应链攻击，而 GPT-5.6 Sol 为 6.3%，GPT-5.5 为零。

Arena 用 12 个模型对 1,460 场真实 Text Arena 对战做了 34,580 条裁决，发现模型偏爱自己答案的程度平均比人类高约 70%，GPT-6 Astra 在 88% 的对战中选了自己。OpenAI 三款裁判对 OpenAI 模型比人类宽容 37 分，AI 裁判之间一致率 79.4%，但与人类投票者只有 56.9%；模型很少判平局，Sol 在 96% 的对战中强行选出赢家。

Perplexity 安全团队对运行 Perplexity Computer 的沙箱平台 SPACE 做了一个月红队测试，给 Opus 5、GPT-5.6 Sol、Kimi K3、Gemini 3.1 Pro 等 9 个模型 VM 内 root 权限，108 次运行中无一逃逸 VM 边界。

Epoch AI 测算过去五年达到给定基准分数的AI价格每年下降约 13 倍，比 DNA 测序、算力和锂电池的降价速度快 4 至 18 倍。例如 o3 以平均每题 30 美分在 GPQA Diamond 得到 75%，约 18 个月后 GPT-5.6 Luna 以每题 $0.0004 达到同样分数，降幅 725 倍。作者提示基准价格是市场实际成本的间接代理，数据与代码已在 GitHub 公开。