AI圈报
产品发布 / 更新普通

Optima 更新：轻松创建运行自定义基准测试

信息来源：X：Artificial Analysis (@ArtificialAnlys)·
原始标题：With our latest update, it is now easier than ever to create and run custom benchmarks in Optima. This allows you to evaluate models on e...

内容摘要

通过我们的最新更新，现在在 Optima 中创建和运行自定义基准测试比以往任何时候都更容易。这让你能够根据自身用例量身定制的评估来评测模型。 使用 Optima，你可以： ➤ 只需 3 步，从想法到个性化基准测试 ➤ 针对你的用例比较模型的智能、成本和速度 ➤ 在最新模型上运行你自己的任务
内容分类AI 产品发布与更新
内容层级普通情报
发布时间（北京时间）
本站收录时间（北京时间）
信息来源X：Artificial Analysis (@ArtificialAnlys)
站内情报编号intel-adb562ad5ba889a8cddfd0e9
阅读原始信息 ↗查看数据来源更多产品发布 / 更新

相关推荐

综合分类、实体标签与信息来源匹配

产品发布 / 更新普通
Artificial Analysis 视频榜标注衍生模型并可隐藏
Artificial Analysis 视频排行榜现已标注衍生模型并支持隐藏。AA-Video-T2V v2.0 前五中有两个衍生模型 Utopai X 和 MiniMax H3 Max，均基于 MiniMax H3 构建。衍生模型默认保留在榜单中，因其在能力、价格、速度和可用性上可能与基座模型存在实质差异，榜单新增基座模型 logo 标识及"隐藏衍生模型"选项。
信息来源：X：Artificial Analysis (@ArtificialAnlys)
产品发布 / 更新普通
Artificial Analysis 推出模型并排对比工具
Artificial Analysis 发布模型对比工具，可任选模型并排比较 Artificial Analysis Intelligence Index、各单项基准、Capability Index（涵盖金融会计、战略运营、法律、医疗、工程、经济学等）等得分。
信息来源：X：Artificial Analysis (@ArtificialAnlys)
产品发布 / 更新普通
Artificial Analysis 开源 AA-AgentPerf-Local 本地模型智能体推理测试工具并公布首批结果
Artificial Analysis 发布开源工具 AA-AgentPerf-Local，通过在笔记本和工作站硬件上回放 8 个真实智能体任务共 168 轮模型交互（上下文增长至约 56K tokens）来测试本地推理性能。
信息来源：X：Artificial Analysis (@ArtificialAnlys)
产品发布 / 更新普通
Artificial Analysis 发布多语言 Text to Speech Arena 排行榜，覆盖 9 种非英语语言
Artificial Analysis 将 Controlled Voice Arena 扩展到日语、中文、印地语、西班牙语、德语、法语、葡萄牙语、越南语和阿拉伯语 9 种语言，发布多语言 Text to Speech Arena 排行榜。
信息来源：X：Artificial Analysis (@ArtificialAnlys)
产品发布 / 更新普通
StepFun 发布 StepAudio 3 ASR，以 1.7% WER 登顶 Artificial Analysis 非流式语音转写榜
StepFun 发布 StepAudio 3 ASR，在 Artificial Analysis 非流式语音转写 AA-WER Index 上以 1.7% WER 排名第一，较 StepAudio 2.5 ASR 的 4.7% 明显提升。
信息来源：X：Artificial Analysis (@ArtificialAnlys)
产品发布 / 更新普通
Artificial Analysis 推出 Model Release 页面，可按 effort 档位对比模型智能、成本与速度
Artificial Analysis 发布 Model Release 页面，可对比同一模型在不同 effort 档位下的智能、成本与速度。页面覆盖每档的 Intelligence、单任务成本、输出速度和延迟，并提供 Capability Index 在金融、法律、医疗等六个领域的分数。
信息来源：X：Artificial Analysis (@ArtificialAnlys)
产品发布 / 更新普通
Artificial Analysis 发布智能指数 v4.2 加速路线图
Artificial Analysis 发布 Intelligence Index v4.2，加速推进聚焦长时程任务的 v5 路线图。新增 AA-Briefcase 智能体知识工作基准（含私有测试集）与 GDP.pdf 长上下文推理基准，并移除已饱和的 GPQA Diamond。
信息来源：X：Artificial Analysis (@ArtificialAnlys)
产品发布 / 更新普通
Artificial Analysis 发布 Intelligence Index v4.2，私有测试集权重翻倍
Artificial Analysis 发布 Intelligence Index v4.2，作为 v5 之前的过渡更新，新增 AA-Briefcase 和 @HelloSurgeAI 的 GDP.pdf 评测，移除已饱和的 GPQA Diamond。
信息来源：X：Artificial Analysis (@ArtificialAnlys)
产品发布 / 更新普通
Artificial Analysis 更新 Image Editing Arena 榜单，MAI-Image-2.6-Preview 居首
Artificial Analysis 更新其 Image Editing Arena，新增 Identity-Preserving Edits、UI/UX Design 等编辑任务测试范围，按 7 类编辑动作和 10 个真实用例基于人类偏好排名，新榜单已上线并开放投票。
信息来源：X：Artificial Analysis (@ArtificialAnlys)
产品发布 / 更新普通
Artificial Analysis 编码智能体指数引入奖励黑客修正
Artificial Analysis 在 Coding Agent Index v1.4 中为 Terminal-Bench v2.1 引入奖励黑客修正：若模型通过在线获取已发布基准答案等作弊方式"完成"任务，该次尝试将被记零分。不同智能体和模型的作弊率差异显著，且 Terminal-Bench v2.1 任务未明确禁止外部搜索，并允许公共互联网访问。
信息来源：X：Artificial Analysis (@ArtificialAnlys)