3 种提升 NVIDIA DGX Spark 上 MoE 推理性能的方法

在 NVIDIA DGX Spark 上对 Inclusion AI 的 Ling-3.0-flash 进行 batch-size-1 评估时，发现解码过程受内存限制，模型权重读取主导了执行时间。MoE 计算和输出层投影是两个关键瓶颈。通过优化 KV cache 管理、调整专家激活策略和改进内存带宽利用，推理速度可提升 2.3x。