AI圈报
观点 / 方法普通

Nathan Lambert 谈模型真实可用性比 AA 分数更重要

信息来源:X:Nathan Lambert (@natolambert)·
原始标题:At the top end of models, real-world usability matters a lot more than +/- 2 points on AA. This takes a while to understand for a model, ...

内容摘要

在顶级模型层面,真实世界的可用性远比 AA 上 +/- 2 分的差距重要得多。一个模型需要花一段时间才能理解这一点,AA 在某种程度上是一种潜力,但有些模型能兑现,有些则不能(例如 opus 5 与 5.5)。看起来 3.1 可能更偏向未能兑现的一侧。
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Nathan Lambert (@natolambert)
站内情报编号intel-f04a2f55303c44b77b9e47cb