AWS Machine Learning Blog· Shantanu Tripathi·· 3 小时前AI 评分52
Amazon SageMaker Inference 支持多实例GPU以最大化模型端点的GPU利用率
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 现支持通过 NVIDIA Multi-Instance GPU (MIG) 对物理GPU进行分区，允许在单个GPU上部署多个模型并实现硬件级隔离。
来源：AWS Machine Learning Blog · aws.amazon.com