Artificial Analysis 澄清 Mercury 3 发布中的评测分数不可与其 Intelligence Index 直接对比

Artificial Analysis 引用 Inception 发布 Mercury 3 扩散大语言模型的推文并澄清，图中对比并非其 Intelligence Index。Mercury 3 声称超过 1,000 tokens/s、1M token 上下文，规模为 Mercury 1 的 40 多倍。作者指出公告引用的 AA-Omniscience 和 GDPval-AA v2 分数不遵循其方法学：AA-Omniscience 使用私有数据集（仅开源 10% 公共子集），GDPval-AA v2 需按其评分方法与模型对比集才具可比性。