AI圈报观点 / 方法普通
KV Cache 分层：PMem 与 400Gb RDMA 内存池之争
原始标题：这个我比较有经验， 没那么复杂， 单纯是因为写速度拉了， 甚至打不过SSD（图是我刚测的， CPU1上的2条128G， 这玩意还有NUMA）. 现代PD分离推理至少要40GB/s的KVCache池速…
内容摘要
针对 Intel Optane PMem 作为 KV cache 分层介质的讨论，karminski 实测指出其写速度甚至打不过 SSD，CPU1 上 2 条 128G 还受 NUMA 影响。他认为现代 PD 分离推理至少需要 40GB/s 的 KVCache 池速度（传输时间不超过 Prefill 耗时的 10%），因此 400Gb RDMA 内存池更合适。
内容分类AI 观点与方法
内容层级普通情报
发布时间（北京时间）
本站收录时间（北京时间）
信息来源X：karminski (@karminski3)
站内情报编号intel-954eacf0d481fd2c708ccb29