Ulysses 上下文并行：通信与计算重叠的实验

针对视频扩散模型长序列处理的 Ulysses 上下文并行方法，通过异步执行和融合投影优化了通信与计算的重叠。在 8 块 B200 GPU 的基准测试中，异步 Ulysses 使预注意力块延迟降低约 23–25%，端到端性能提升约 3%；融合 QKV 投影在 2-4 GPU 配置下将块延迟进一步降低 33-37%。实验表明，重叠是稳健的高规模默认方案，而融合在中低规模下效果最强。