AI圈报
观点 / 方法普通

NVIDIA Dynamo 通过会话级 ID 优化智能体推理:路由、准入控制与 KV 缓存管理

信息来源:PyTorch:Blog(RSS)·
原始标题:Session-Aware Agentic Inference with NVIDIA Dynamo

内容摘要

NVIDIA Dynamo 引入统一的会话级标识符 session_id,把请求级推理服务升级为程序感知系统,覆盖会话感知路由、共享 KV 索引与程序化缓存迁移,兼容 vLLM 和 SGLang。
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源PyTorch:Blog(RSS)
站内情报编号intel-8a10bc52e31d800a1d54fb52