Artificial Analysis 智能指数 v4.3 发布

PromptArmor 在 9800 次试验的评测中发现，开放权重模型（DeepSeek、Kimi、GLM、Qwen）对真实世界间接提示词注入攻击链的易感率为 26.7%，闭源模型（GPT、Claude、Gemini）为 14.2%，开放权重模型易感率高 88%。

We evaluate six frontier language models on the two-agent $\log(N)$-Questions game. A questioner sees $N$ Wikipedia lead paragraphs and must identify a secretly chosen target using exactly $\log_2 N$ yes/no questions. An answerer sees only…

新基准 Taste-Bench 通过 502 个决策分叉问题测量智能体在编码和 AI 研究任务中的长期决策品味，测试了来自 Claude、GPT、Grok、DeepSeek、GLM、MiniMax 和 Mistral 家族的 14 个模型。

Long-horizon agents have drawn growing attention for their ability to work autonomously -- from hours to days -- on economically valuable tasks, a capability essential to automated discovery and recursive self-improvement (RSI). Yet open-s…

Agents often work on complex problems that require millions of tokens of context, which necessitates compacting across sessions due to limited context windows. We develop CliffCompaction, an autocompaction technique that reduces cost by up…

Epoch AI 用 ECI 及数学、SWE 领域变体对比 GPT-6 Astra、Claude Fable 5.1、GPT-5.6 Sol 和 Kimi K3，GPT-6 Astra 在数学基准上领先，但软件工程未占优。

RSIAgent 是一个免训练的多智能体框架，通过协调课程、执行与验证智能体自主探索环境、验证结果并构建可复用的环境记忆，采用先广后深的探索策略发现隐藏约束与因果依赖。在 OSWorld-v2 和 Agent's Last Exam 上，该框架显著提升开源模型表现，使 Kimi-K3 和 GLM-5.3 超越包括 GPT-6 在内的前沿闭源模型。

OpenAI发布GPT-5.4 mini与nano轻量模型，保留多档推理能力与400K上下文窗口，价格降至$0.20/$1.25每百万token。基准测试显示，GPT-5.4 nano在τ²-Bench等多项测试中领先Claude Haiku 4.5与Gemini 3.1 Flash-Lite Preview，但幻觉率较高且token消耗量大。得益于极低单价，nano在Intelligence Index测试中的有效成本反而低于竞品，展现出优秀的性价比优势。

同一实验室的模型往往具有相似的人格画像，不过有些实验室存在明显不同的子群。 按30项人格特质对模型进行聚类，可得到三个自然形成的家族：Anthropic 模型与 OpenAI 的 GPT-6 模型归为一类，Google 模型与 Meta 的 Muse 模型归为一类，较早期的 OpenAI 模型则与 Llama 4 Maverick 同属一类。下文我们将逐一拆解各实验室内部的子群。

Artificial Analysis 将 AMD MI355X 纳入 AA-AgentPerf 基准，覆盖 Kimi K3、GLM-5.2/5.3 和 DeepSeek V4 Pro，并与 NVIDIA B200/B300 对比编码智能体推理性能。