马东锡：用 LLM 越多越认同 LeCun 的判断

Jev 试图补上 BERT 未走完的路线，保留 GPT 的任务泛化能力，同时重获 encoder 与 classifier 式的决策效率，成为面向 service 和 Agent 的泛化 decision model。

马东锡 NLP 指出，Jev 理解输入后直接输出概率，非常像 BERT 做分类器，而 DeepSeek-V4.1-Flash 的 CED 与 Jev 都在预示 encoder 以某种形式卷土重来。

LLM 的速度体验分为等待首 token 和回答流畅度两方面，分别与 Prefill 和 Decode 密切相关。从发出请求到收到第一个 token 的等待叫 TTFT，模型在此期间进行 prefill 处理输入；开始回答后通过 decode 逐步生成后续 token，相邻 token 到达间隔叫 ITL。TTFT 越短反应越快，ITL 越短且越稳定回答越流畅。

DeepSeek 发布 DeepSeek-V4.1-Flash，一款 552B 参数（每 token 激活 16B/预填充 8B）的多模态 MoE 模型，支持最长一百万 token 上下文。其 Causal Encoder-Decoder（CED）架构结合 CSA2 与 FP4 KV caching，将全局 KV cache 降至每 token 890 字节，约为 DeepSeek-V4-Flash 的 1/4、DeepSeek-V1 的 1/437，配合 SWA Boun…

马东锡 NLP 用文档+LLM 办公场景解释三个概念：Prefill 处理 input，KV cache 保存计算得到的 K/V 供后续生成使用，Prefix caching 在输入变化时只能复用首次 token 变化之前的共同 prefix。以 A、B、C 三轮文档问答为例，C 的输入方案已改变，因此无法完整复用前序缓存。

这篇长文解释 LLM 推理中 KV cache 的原理：每生成一个 token，历史位置的 K/V 会被保留供后续位置读取，而 Q 随新位置重新产生，用完即可丢弃。

作者读完 DeepSeek 的 KV Cache Compression 后，将 K 比作唤起记忆的线索、V 比作记忆留下的内容，Q 则带着当下问题从过去寻找答案。经历越多思虑越重，精力有限，再重要的往事也可能被冲淡，错误记忆还会影响后续判断，所谓成长大概就是给生命做 KV cache。

DeepSeek 带来 CED，通过跨层共享减少 global KV 的重复存储，极致压榨 KV caching 并减少 prefill 计算，目标是让模型又快又强。推文同时以调侃口吻对比另一家公司的表述风格。

极致的压榨 KV Cache Compression DeepSeek-V4.1-Flash 的 Causal Encoder-Decoder 改变了什么？ 在常规 Transformer 中，各层根据进入本层的 hidden states，生成自己的 K 和 V。DeepSeek-V4.1-Flash 的 Causal Encoder-Decoder 调整了这一依赖关系：decoder 的 global KV 直接由 causal encoder 的最终输出生成。 因此，…

推荐！ GPT-6 Astra &amp； 循环 Transformer 【引用 @rasbt】：我整理了一篇关于 GPT-6 Astra 与循环 Transformer 的长文。 循环 Transformer / 循环深度如何运作、成本权衡、是否会隐藏推理痕迹，配有大量图表，并梳理了近期循环 Transformer 研究。