Prefill、KV cache 与 Prefix caching 三概念解析

这篇长文解释 LLM 推理中 KV cache 的原理：每生成一个 token，历史位置的 K/V 会被保留供后续位置读取，而 Q 随新位置重新产生，用完即可丢弃。

作者读完 DeepSeek 的 KV Cache Compression 后，将 K 比作唤起记忆的线索、V 比作记忆留下的内容，Q 则带着当下问题从过去寻找答案。经历越多思虑越重，精力有限，再重要的往事也可能被冲淡，错误记忆还会影响后续判断，所谓成长大概就是给生命做 KV cache。

DeepSeek 带来 CED，通过跨层共享减少 global KV 的重复存储，极致压榨 KV caching 并减少 prefill 计算，目标是让模型又快又强。推文同时以调侃口吻对比另一家公司的表述风格。

极致的压榨 KV Cache Compression DeepSeek-V4.1-Flash 的 Causal Encoder-Decoder 改变了什么？ 在常规 Transformer 中，各层根据进入本层的 hidden states，生成自己的 K 和 V。DeepSeek-V4.1-Flash 的 Causal Encoder-Decoder 调整了这一依赖关系：decoder 的 global KV 直接由 causal encoder 的最终输出生成。 因此，…

推荐！ GPT-6 Astra &amp； 循环 Transformer 【引用 @rasbt】：我整理了一篇关于 GPT-6 Astra 与循环 Transformer 的长文。 循环 Transformer / 循环深度如何运作、成本权衡、是否会隐藏推理痕迹，配有大量图表，并梳理了近期循环 Transformer 研究。

OpenAI 发布 GPT-6 Astra，称凡是你能在电脑上完成的事，Astra 都能快速替你完成。作者补充其命名取自拉丁语 ad astra，意为奔赴群星。

Video Delta Net （VDN） 发布，采用混合注意力实现近无损质量的实时文本生成视频，称开源视频生成速度已超过播放速度。VDN 将 Minimax-H3 加速 75-90 倍，在 8× NVIDIA B200 GPU 上 11 秒生成 14 秒 768p 视频，并开源 checkpoint、训练/推理代码和技术博客。

Gemini 3.8 发布，作者称其表现非常亮眼。作者认为 Gemini 似乎在复制去年 2.5 Pro 到 3 的节奏，夏天后发力，到年底用 ultra 年票打折绑定用户，之后再拉半年。

恭喜 @Apodex_AI 的出色工作！ Apodex 1.1：扩展面向复杂工作的智能体智能