AI圈报
论文研究普通

清华与港中文团队开源 AKV:面向 LLM 智能体的 KV cache 工程服务系统

信息来源:MarkTechPost(RSS)·
原始标题:Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang

内容摘要

清华大学与 CUHK 研究者开源 AKV,一个构建在 SGLang 上的 KV cache 工程服务系统,让智能体通过 Drop 和 Repos(RoPE 旋转重定位)操作丢弃或重排 KV 条目而不改写文本历史。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源MarkTechPost(RSS)
站内情报编号intel-c01f5fa0f976c2779fe4d308