AI圈报
论文研究普通

YC 创业公司 Synthetic Sciences 发布 FrontierML 基准,5 个前沿模型均未达强结果线

信息来源:X:Rohan Paul (@rohanpaul_ai)·
原始标题:Synthetic Sciences, a Y Combinator startup, has launched FrontierML, a benchmark so hard that none of the 5 frontier AI models it tested ...

内容摘要

YC 创业公司 Synthetic Sciences 发布 FrontierML 基准,评测 AI 智能体在自主实证 ML 研究上的能力,作者称测试的 5 个前沿模型无一在其 25 个开放式问题上达到强结果线。每个任务中目标被隐藏,智能体在 Lab0 获得 12 小时和 H100 GPU,需自行设计进度代理并校准其可信度,最终提交的模型或方法在 held-out 评估上打分。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-0a5da68b4062451c88848b58