AWS SageMaker Inference 支持 GPU 分区以提升利用率
热点事件持续更新
AWS SageMaker Inference 支持 GPU 分区以提升利用率
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
AWS 宣布其 SageMaker Inference 服务支持通过 NVIDIA MIG 技术对物理 GPU 进行分区，以在单个 GPU 上部署多个模型并实现硬件级隔离。 该功能适用于推理组件端点的实时推理，并可在 P4d、P5、G7 和 G7e 实例系列，以及美国东部（弗吉尼亚北部、俄亥俄）、美国西部（俄勒冈）、亚太（新加坡、东京）和欧洲（法兰克福、爱尔兰）区域使用。
AI 根据报道生成 · 1 小时前更新
最新进展11月7日 02:01
Amazon SageMaker Inference 支持多实例GPU以最大化模型端点的GPU利用率报道时间线
沿着报道，了解事件的不同侧面。
11月7日
- AWS Machine Learning BlogAmazon SageMaker Inference 支持多实例GPU以最大化模型端点的GPU利用率
Amazon SageMaker Inference 现支持通过 NVIDIA Multi-Instance GPU (MIG) 对物理GPU进行分区，允许在单个GPU上部署多个模型并实现硬件级隔离。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。