AWS · AI 博客· Mona Mona·· 3 小时前AI 评分38
Mixture-of-Experts 内核工程在 Amazon SageMaker AI 上的实现
Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AI 导读
本文介绍了在 Amazon SageMaker AI 上对 Mixture-of-Experts (MoE) 架构进行内核优化的方法，通过 Swap-AB 技术提升 WGMMA 利用率，实现 2–4% 的端到端输出吞吐量提升。
来源：AWS · AI 博客 · aws.amazon.com