SemiAnalysis· Tanj Bennett·· 14 天前AI 评分31
Computation and Data Movement for Inference
Computation and Data Movement for Inference
AI 导读
混合专家（MoE）架构改变了前沿模型的推理结构和计算经济性，影响了张量激活方式、数据传输需求和内存调度机制。
来源：SemiAnalysis · newsletter.semianalysis.com
Computation and Data Movement for Inference