Cohere Labs 提出 RCP-nDCG@10：用校准 AI 评委更完整地衡量检索相关性

Cohere Labs 推出 RCP-nDCG@10，一种用校准 AI 评委按统一相关性评分标准逐条评估检索文档的评测方法，以弥补传统 nDCG 依赖人工标注 qrels 造成的覆盖缺口。其 46 人人工标注研究显示，qrels 预测人类相关性判断的 AUC 仅 0.65，而 LLM 校准相关性评分可达 0.91；被基准标为不相关的文档中 28% 被人类判为有用。该指标已用于优化其下一代搜索模型。