PyTorch 博客· Ishan Dhanani, Jamie Li, Karen Chung·· 1 小时前精选AI 评分70
NVIDIA Dynamo 推出会话感知智能体推理功能
Session-Aware Agentic Inference with NVIDIA Dynamo
AI 导读
NVIDIA Dynamo 推出会话感知智能体推理功能，通过统一的会话级标识（session_id）实现跨请求的缓存复用、调度控制和缓存移动，支持与 vLLM 和 SGLang 集成，提升智能体工作负载的吞吐量和缓存命中率。
推荐理由
原文给出了会话级标识、调度策略和缓存管理的具体实现，读者可以据此理解如何优化智能体推理的吞吐和缓存复用。
来源：PyTorch 博客 · pytorch.org