Hugging Face · 每日论文·· 5 天前精选AI 评分54
Evolving Infra：面向智能体的自适应大模型推理服务框架
Evolving Infra: Agent-Adaptive LLM Serving at Scale
AI 导读
Evolving Infra 是一个面向智能体工作负载的自适应大模型推理服务框架，通过解耦预填充与解码计算分配、动态调整KV缓存管理，提升资源利用率。在GLM-5.2和Kimi K2.6模型上，使用最多256块GB300 GPU测试，相比NVIDIA Dynamo框架，该方法将平均端到端延迟和P95首字延迟分别降低至4.1倍和14倍。
推荐理由
该研究提出可动态适配智能体工作负载的推理服务框架，通过解耦计算分配与KV缓存管理，降低延迟并提升资源利用率。
来源：Hugging Face · 每日论文 · huggingface.co