vLLM 官方博客· the Kinference Team·· 4 天前AI 评分46
Introducing Kinference: An Open Source Inference Control Plane for vLLM and Kubernetes
Introducing Kinference: An Open Source Inference Control Plane for vLLM and Kubernetes
AI 导读
Buoyant 推出 Kinference，一个开源推理控制平面，用于与 vLLM 配合构建可扩展的推理平台。Kinference 提供了基于 GPU 队列大小、历史性能和 KV 缓存内容的智能负载均衡功能，在一项基准测试中，其将中位数首 token 延迟降低了 95%，中位数端到端延迟降低了 45%。
来源：vLLM 官方博客 · vllm.ai