NVIDIA · 开发者博客· Tanya Lenz·· 13 天前AI 评分33
NVIDIA TensorRT 多设备集成简化跨多 GPU 的模型推理服务
Simplifying Model Serving Across Multiple GPUs with NVIDIA TensorRT Multi-Device Integration in NVIDIA Dynamo-Triton
AI 导读
NVIDIA TensorRT 11.0 引入了多设备推理功能，允许单个 TensorRT 网络利用 NCCL 分布式集合在多个 GPU 上执行，同时保持 TensorRT 的推理优化。该功能旨在解决生成式 AI 对计算和内存日益增长的需求，并已在 NVIDIA Dynamo-Triton 中得到支持。
来源：NVIDIA · 开发者博客 · developer.nvidia.com