MarkTechPost· Michal Sutter·· 5 小时前AI 评分48
Buoyant 发布 Kinference：基于 Kubernetes 和 vLLM 的开源推理控制平面
Buoyant Releases Kinference: An Open Source Inference Control Plane for Kubernetes and vLLM
AI 导读
Buoyant 发布了 Kinference，一个用于 Kubernetes 和 vLLM 的开源推理控制平面，通过路由策略和 KV-cache 感知负载均衡显著降低推理延迟。
来源：MarkTechPost · marktechpost.com