Chamath Palihapitiya谈AI计算中Prefill与Decode的区别

Kog团队在标准数据中心GPU上实现了极高的单用户推理速度，在8× AMD MI300X GPUs上达到3,000 tokens/s，在8× NVIDIA H200上达到2,100 tokens/s。相比常规推理速度（约100-300 tokens/s），实现了10-30倍提升。其核心思路是将LLM解码视为内存流问题，通过协同设计monokernel、重建同步机制、针对性内存访问映射及采用延迟张量并行的Laneformer模型架构，消除了传统流程的阻塞点。

“每家公司都建立在某种专业化的智能基础之上。 我们不可能样样精通，但会在某一件事上非常、非常擅长。这种专业化，也就是你公司的智能，就是你的本质。” ——NVIDIA CEO 黄仁勋

Jensen Huang 上周在 CNBC 表示，一座 1-gigawatt 的 NVIDIA AI 工厂需要 500亿-600亿美元资本开支，但每年可产生约 500亿美元租金收入，即约一年收回全部资本。引用数据还显示，Alphabet、Microsoft、Amazon、Meta 和 Oracle 合计的 2026-2027 资本支出预期较年初上调约 66%，增加约 7500亿美元。

Cerebras 联合创始人兼 CEO Andrew Feldman 表示，公司做到 50B/60B 规模后，他才真正体会到 Jensen Huang 把 Nvidia 带到 5 万亿市值有多难。他指出 Nvidia 在 2003 至 2013 年间作为上市公司整整十年靠现金交易度日、无人问津，CEO 能这样拼十年直到做对，这种韧性值得学习。

黄仁勋刚刚在 CNBC 上透露，一座 1 吉瓦的 NVIDIA AI 工厂需要大约 $50B-$60B 的资本支出，但每年能产生约 $50B 的租赁收入 也就是说，资本回收期仅需 1 年。 ---- 来自 YouTube 频道 "FinVid"，（完整视频链接见评论）

Nvidia 和 AMD 越来越多地借助自身资产负债表竞争，通过提供信用担保帮助客户获得融资、建成新的数据中心。The Information 援引一位数据中心高管称，两家有时会为给特定数据中心客户提供信用担保而展开竞价战，Nvidia 因资产负债表更强而更为激进。数据中心即使有土地、电力、GPU 和租户，若出租方或贷款方不相信租户能可靠支付 15 年长约，仍难以获得融资。

为什么英伟达不自己直接卖token "黄仁勋真的很擅长让他的朋友们成为亿万富翁。" --Neil Movva，Sail Research 联合创始人，前英伟达 GPU/内核工程师

中国五大厂商占2026上半年全球人形机器人出货量的86%，全球总出货量超2.2万台，同比增长近300%。英伟达正将CUDA模式复制至该市场，通过深度嵌入少数头部厂商，以GPU/Jetson+CUDA+Isaac/GR00T/Cosmos栈覆盖机器人开发全流程。

中国人形机器人占全球出货量86%，英伟达正将其CUDA策略复制到这一高度集中的市场。英伟达只需深度嵌入少数几家机器人厂商，即可覆盖大部分市场。其路径是让机器人厂商依赖英伟达GPU/Jetson、CUDA及Isaac/GR00T/Cosmos平台，实现仿真、训练、控制与部署的全栈绑定。

SemiAnalysis 长文披露 OpenAI 自研 Jalapeño 芯片，称其面向数十万亿参数模型与百万级 token 上下文设计，并质疑 CUDA 在 AI 可自写代码优化新架构下的存续。该芯片以每瓦性能为核心，目标让数千芯片协同为单一推理机，其每兆瓦输出 token 吞吐已超越英伟达 Vera Rubin 公布数据。