Artificial Analysis 新增 AMD MI355X 智能体推理测试结果

Recent LLMs increasingly adopt hybrid designs that replace standard attention with linear attention, such as Gated DeltaNet (GDN) and Kimi Delta Attention (KDA). Although they compress the context into a fixed-size recurrent state and subs…

Artificial Analysis 发布智能指数 v4.3，将 Terminal-Bench 升级至 4.0，并新增基于 Zapier 私有测试集的智能体工作流基准 AutomationBench-AA。Claude Fable 5.1 与 GPT-6 Astra 以 53 分并列领先，GLM-5.3 与 Kimi K3 以 44 分领跑开源模型。私有任务评测权重由 40% 提升至 45%。

Goodfire Research 为 Kimi K3 和 GLM 5.3 构建基于激活探针加 LLM judge 的监控级联，并部署到生产推理栈。

LMSYS 团队针对 1.6 万亿参数的 MoE 模型 DeepSeek-V4-Pro，在 H20 GPU 上通过场景化服务配置逼近 B300 性能。单节点 H20-141GB 参考实现达 271 output tokens/s，与 B300 的 383.7 tokens/s 性能差距缩小至 1.42×。

本地运行的 Qwen3.8-27B 在 Artificial Analysis 智能指数上以 52 分位列 135 个模型之首，超过 7530 亿参数的 GLM-5.2。在 25 项风投任务评测中，它与云端 DeepSeek V4 输出质量同为 8.0 分，但需多花 7.2 倍 token 思考，速度慢约 9 秒。小模型靠更长的链式推理弥补知识差距，而非直接给出答案。

三大力量重塑 AI 成本：前沿闭源模型持续涨价，开源模型在多数场景已足够好，买家开始替代。Coinbase 将提示词路由至更便宜模型，成本持平但 token 用量指数增长。Lindy 全切至 DeepSeek v4，节省数百万美元且多项核心性能提升。Harvey 在 Legal Agent Benchmark 上通过 SFT 使 Kimi 2.6 all-pass 率达 15%，超越 Opus 的 14%，同一 100 任务成本 $84 vs $954（约 11 倍价差）。…

SGLang 与 AMD 团队合作，通过一系列全栈优化，使 AMD Instinct™ MI355X GPU 在运行 DeepSeek-R1 大模型推理时实现了极具竞争力的总拥有成本。在 129 tok/s/user 的交互延迟下，其成本为每百万 token $0.169，比 NVIDIA B200（Dynamo TRT-LLM）方案低 5%，比 B200（SGLang）方案低 40%。吞吐量方面，24 块 AMD GPU 达到 2,436 tok/s/GPU，比使用 48…

Aleph Alpha 用 967 个敏感话题测试阿里 Qwen、DeepSeek 和月之暗面 Kimi，其自研评分系统仅将 17% 至 41% 的回答评为平衡，其余为复述官方立场、回避或拒答。

很高兴宣布 SemiAnalysis AgentX 已集成到 ModelScope——一个在中国广泛使用的评测框架。我们非常激动 AgentX 已成为行业标准并在全球被采用，包括 OpenAI、Meta、Inferact、RadixArk、MiniMax、Alibaba Qwen、Moonshot、ZipHu GLM、Oracle 等。

Pareto 26.9 通过将请求分发至多个前沿与开源模型并保留最佳答案，在 30 项智能体任务评测中与 GPT-6 Astra 并列第一，每成功任务成本约为后者 1/3，且完成任务速度快于 DeepSeek V4 Pro 和 GLM 5.3 Flash。同一评测中，GPT-6 Sol 得分追平 Opus 5.5，速度更快，每成功任务成本约为其 1/4。