NVIDIA Dynamo正在把推理服务的管理单位从单次请求扩展到整个会话。PyTorch Blog于2026年10月8日刊出的技术文章介绍，团队过去几个月将路由器、推理引擎和KV缓存管理器相关工作，统一到一个共同的会话级标识之下，让服务系统能够识别请求背后的会话与程序。
这项变化针对AI智能体的调用方式。文章以编程会话为例：初始预填充往往涉及数万token的系统提示、工具定义和用户专属指导，后续每轮又会完整重发不断增长的上下文。一个任务可展开为数十次模型调用，并伴随并行运行的子智能体；工具执行期间，上下文仍驻留在KV缓存中。
文章指出，多数开源推理服务栈仍按单次请求独立进行路由、准入和缓存管理，无法识别请求与此前轮次所属的同一会话。Dynamo的统一标识则支持会话感知路由、共享KV缓存索引，以及跨vLLM和SGLang的程序化缓存移动。它也可从现有智能体运行框架的请求头识别会话与子智能体，并允许自定义框架提供同类信息。
会话标识还用于把运行框架的活动与推理性能追踪关联起来，支持离线模拟和在线基准测试。文章介绍的会话感知调度会在路由与准入控制中考虑会话工作集，并在工具调用边界施加背压，以减少缓存反复置换。这些优化围绕的是多轮调用、工具执行和子智能体并行交织的负载，而不只是单轮聊天请求。