EUROPA联盟使用PyTorch和TorchTitan在欧盟公共基础设施上训练1T参数MoE模型

EUROPA联盟（由Domyn、Fraunhofer IAIS和IIS组成）在JUPITER超算上使用PyTorch和TorchTitan成功训练了约1万亿参数的MoE模型，通过FlexShard、激活检查点卸载至Grace CPU、FSDP流解耦等优化，将每GPU吞吐量从90提升至约1,300 tokens/s。