KV缓存

收录 1 篇关于“KV缓存”的文章，最近更新于 2026-10-10。

AI资讯2026-10-10 02:15

NVIDIA Dynamo用会话级标识优化智能体推理

NVIDIA Dynamo正在把推理服务的管理单位从单次请求扩展到整个会话。PyTorch Blog于2026年10月8日刊出的技术文章介绍，团队过去几个月将路由器、推理引擎和KV缓存管理器相关工作，统一到一个共同的会话级标识之下，让服务系统能够识别请求背后的会话与程序。这项变化针对AI智能体的调用方式。