NVIDIA · 开发者博客· Dan Feigin·· 2 小时前AI 评分30
NVIDIA Snapshot:在秒级内启动和恢复 GPU 工作负载
Start and Restore GPU Workloads in Seconds with NVIDIA Snapshot
AI 导读
NVIDIA 推出 Snapshot,作为 DSX AI Factory Platform 的开源组件,可在秒级内启动和恢复 GPU 工作负载,提升推理副本的初始化与恢复效率。该工具解决了推理需求激增或副本故障时 GPU 资源无法立即投入服务的问题,避免了大语言模型冷启动所需数分钟的延迟。Snapshot 的开源特性使其更易被开发者集成与使用。
来源:NVIDIA · 开发者博客 · developer.nvidia.com