产品发布 / 更新普通
Google 开源 TPU Sync:面向 TPU 的 KV cache 传输 C++ 库
原始标题:Google Releases TPU Sync: Open-Source KV Cache Transfer for TPUs
内容摘要
Google Cloud 发布开源 C++ 库 TPU Sync(Apache-2.0),把 TPU HBM、主机 DRAM、共享存储和数据中心网络当作统一内存层级,用异步 DMA 传输 KV cache 和模型权重。
内容分类AI 产品发布与更新
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源MarkTechPost(RSS)
站内情报编号intel-a90f4515887ef28bc924c597