NVIDIA发布Dynamo会话感知智能体推理功能

NVIDIA发布了Dynamo会话感知智能体推理功能，通过统一的会话级标识（session_id）实现跨请求的缓存复用和调度控制，以提升智能体工作负载的吞吐量和缓存命中率。 该功能支持与vLLM和SGLang集成，实现了会话感知路由、共享KV缓存索引以及跨引擎的程序化缓存移动。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。