AI圈报
观点 / 方法普通

推理卡时是训练的12倍,decode 阶段一块卡只跑出5%算力:YC Paper Club 聊 DeepSeek 推理成本

信息来源:X:Saito 硬地骇客 (@SaitoWu)·
原始标题:训练 V3 花了 280 万个 H800 卡时,推理一年烧掉一千五百多万个,是训练的六倍,按两年模型寿命摊是 12 倍。更狠的是 decode 阶段,一块卡只跑出 5% 的算力,瓶颈不在算力,在显存带宽。 https://x.com/i/article/2114651658...

内容摘要

Saito 归纳 YC Paper Club 播客中四位推理从业者的讨论:DeepSeek 训练 V3 用了280万个 H800 卡时,推理每天烧4.3万个卡时,按两年模型寿命摊是训练的12倍,decode 阶段 MFU 仅5%,瓶颈在显存带宽而非算力。
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Saito 硬地骇客 (@SaitoWu)
站内情报编号intel-9dfc6ecb55fd409f9404243f