LLM 速度体验：TTFT 与 ITL 解析

DeepSeek 发布 DeepSeek-V4.1-Flash，一款 552B 参数（每 token 激活 16B/预填充 8B）的多模态 MoE 模型，支持最长一百万 token 上下文。其 Causal Encoder-Decoder（CED）架构结合 CSA2 与 FP4 KV caching，将全局 KV cache 降至每 token 890 字节，约为 DeepSeek-V4-Flash 的 1/4、DeepSeek-V1 的 1/437，配合 SWA Boun…

马东锡 NLP 用文档+LLM 办公场景解释三个概念：Prefill 处理 input，KV cache 保存计算得到的 K/V 供后续生成使用，Prefix caching 在输入变化时只能复用首次 token 变化之前的共同 prefix。以 A、B、C 三轮文档问答为例，C 的输入方案已改变，因此无法完整复用前序缓存。

这篇长文解释 LLM 推理中 KV cache 的原理：每生成一个 token，历史位置的 K/V 会被保留供后续位置读取，而 Q 随新位置重新产生，用完即可丢弃。

作者读完 DeepSeek 的 KV Cache Compression 后，将 K 比作唤起记忆的线索、V 比作记忆留下的内容，Q 则带着当下问题从过去寻找答案。经历越多思虑越重，精力有限，再重要的往事也可能被冲淡，错误记忆还会影响后续判断，所谓成长大概就是给生命做 KV cache。

DeepSeek 带来 CED，通过跨层共享减少 global KV 的重复存储，极致压榨 KV caching 并减少 prefill 计算，目标是让模型又快又强。推文同时以调侃口吻对比另一家公司的表述风格。

极致的压榨 KV Cache Compression DeepSeek-V4.1-Flash 的 Causal Encoder-Decoder 改变了什么？ 在常规 Transformer 中，各层根据进入本层的 hidden states，生成自己的 K 和 V。DeepSeek-V4.1-Flash 的 Causal Encoder-Decoder 调整了这一依赖关系：decoder 的 global KV 直接由 causal encoder 的最终输出生成。 因此，…

推荐！ GPT-6 Astra &amp； 循环 Transformer 【引用 @rasbt】：我整理了一篇关于 GPT-6 Astra 与循环 Transformer 的长文。 循环 Transformer / 循环深度如何运作、成本权衡、是否会隐藏推理痕迹，配有大量图表，并梳理了近期循环 Transformer 研究。

OpenAI 发布 GPT-6 Astra，称凡是你能在电脑上完成的事，Astra 都能快速替你完成。作者补充其命名取自拉丁语 ad astra，意为奔赴群星。

Video Delta Net （VDN） 发布，采用混合注意力实现近无损质量的实时文本生成视频，称开源视频生成速度已超过播放速度。VDN 将 Minimax-H3 加速 75-90 倍，在 8× NVIDIA B200 GPU 上 11 秒生成 14 秒 768p 视频，并开源 checkpoint、训练/推理代码和技术博客。