AI圈报
观点 / 方法普通

Prefill 与 Decode 讲解:为什么 AI 读完长文档才回话,写长文却越写越慢

信息来源:X:马东锡 NLP (@dongxi_nlp)·
原始标题:https://x.com/i/article/2099600211739803648

内容摘要

文章讲解大模型推理的 prefill 与 decode 两个阶段:prefill 并行处理给定输入,决定 TTFT;decode 逐 token 自回归生成,常受内存带宽限制。
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:马东锡 NLP (@dongxi_nlp)
站内情报编号intel-bed0ee2107983ae44eb0dd64