AI圈报行业动态普通
Sam Altman 谈本地推理的浪费
原始标题：Sam Altman on local inference.
内容摘要
Sam Altman 谈本地推理。 “从全球资源分配的角度看，让每个人、让世界上有限 DRAM 供应中的一大批都放在自己的电脑里、却只有 5% 的时间在用，这相当糟糕” 按每 token 算，数据中心轻松胜出。batch size 为 1 的本地模型按任何利用率指标看都是浪费，但它也是整个技术栈中唯一没人能对你弃用的部分。https://x.com/morqon/status/2115838856524120128/video/1
内容分类人工智能行业动态
内容层级普通情报
发布时间（北京时间）
本站收录时间（北京时间）
信息来源X：Rohan Paul (@rohanpaul_ai)
站内情报编号intel-3e35636830a8610576621a84