AWS SageMaker HyperPod 上检测与恢复静默数据损坏的实践方法

AWS SageMaker HyperPod 团队发布教程，介绍在分布式训练中检测静默数据损坏（SDC）的三种方法：非有限梯度检查、环形重放审计和权重指纹比对，并结合 Kubernetes 和 HyperPod 功能实现节点定位、隔离和替换。方法适用于 PyTorch DDP 训练，代码开源，测试基于 32 个 H100 GPU 的 Llama 3 405B 预训练场景。