Zephon 为 TorchTitan 带来弹性确定性数据加载

Zephon 在 TorchTitan 中实现了弹性确定性数据加载，确保不同 GPU 数量下训练数据顺序一致，从而避免因硬件变化导致的实验结果偏差。使用 Zephon 时，1B 参数模型在 8、32、64 GPU 上恢复训练后的 DCLM Core v1 分数差异仅为 0.05 和 FineWeb 分数差异为 0.011，远低于标准数据加载器的 0.82 和 0.64。