NVIDIA推出Dynamo框架并构建验证的Kubernetes运行时

NVIDIA推出了名为Dynamo的分布式推理框架，用于在GPU工作节点间协调模型服务，并介绍了为支持该框架而构建验证的Kubernetes运行时的实践方法。 Dynamo框架部署在Kubernetes上，旨在为AI应用开发团队提供从模型配置到推理端点的可重复部署路径。NVIDIA称，完整的模型部署还需要配合GPU驱动、资源分配、调度、网络和监控等组件。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。