AI圈报
产品发布 / 更新普通

Google 开源 TPU Sync:面向 TPU 的 KV cache 传输 C++ 库

信息来源:MarkTechPost(RSS)·
原始标题:Google Releases TPU Sync: Open-Source KV Cache Transfer for TPUs

内容摘要

Google Cloud 发布开源 C++ 库 TPU Sync(Apache-2.0),把 TPU HBM、主机 DRAM、共享存储和数据中心网络当作统一内存层级,用异步 DMA 传输 KV cache 和模型权重。
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源MarkTechPost(RSS)
站内情报编号intel-a90f4515887ef28bc924c597