Buoyant发布开源推理控制平面Kinference
热点事件持续更新
Buoyant发布开源推理控制平面Kinference
2 篇报道2 个报道来源4 小时前更新
先了解这件事
AI 综述
Buoyant发布了开源推理控制平面Kinference，旨在与vLLM配合构建可扩展的推理平台。 Buoyant称，Kinference通过基于GPU队列大小、历史性能和KV缓存内容的智能负载均衡，在一项基准测试中，将中位数首token延迟降低了95%，中位数端到端延迟降低了45%。 该项目采用Apache v2许可证完全开源，但据后续报道，其仍处于Alpha阶段，限流、分类器和对Anthropic API的支持等功能尚未发布。
AI 根据报道生成 · 2 小时前更新
最新进展11月7日 16:16
Buoyant 发布 Kinference：基于 Kubernetes 和 vLLM 的开源推理控制平面报道时间线
沿着报道，了解事件的不同侧面。
11月7日
- MarkTechPostBuoyant 发布 Kinference：基于 Kubernetes 和 vLLM 的开源推理控制平面
Buoyant 发布了 Kinference，一个用于 Kubernetes 和 vLLM 的开源推理控制平面，通过路由策略和 KV-cache 感知负载均衡显著降低推理延迟。
11月4日
- vLLM 官方博客Introducing Kinference: An Open Source Inference Control Plane for vLLM and Kubernetes
Buoyant 推出 Kinference，一个开源推理控制平面，用于与 vLLM 配合构建可扩展的推理平台。Kinference 提供了基于 GPU 队列大小、历史性能和 KV 缓存内容的智能负载均衡功能，在一项基准测试中，其将中位数首 token 延迟降低了 95%，中位数端到端延迟降低了 45%。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月7日 18:00
- 近 24 小时变化
- –
02.557.510
12:0011月6日12:0011月7日12:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。