观点 / 方法普通
马博详解 KV Cache 与注意力机制
原始标题:马博这篇把 KV Cache 讲得非常清楚,一下就把 Attention、Prefill、KV Cache 和 Prefix Caching 串起来了。 理解这一层,再去看多头潜在注意力、跨层共享这…
内容摘要
马博这篇把 KV Cache 讲得非常清楚,一下就把 Attention、Prefill、KV Cache 和 Prefix Caching 串起来了。 理解这一层,再去看多头潜在注意力、跨层共享这些东西,会顺很多。