Rethinking Memory for AI Inference

为应对边缘设备上的 AI 推理需求，研究指出需重新设计内存架构以减少数据移动、功耗和延迟。不同 AI 工作负载对内存结构、互连和处理方式有不同要求，软件支持、标准化和散热管理仍是广泛应用的主要障碍。Cadence 的 Frank Ferro 表示，随着大语言模型部署到物理设备，系统需提前编译以优化内存内计算（IMC）或内存附近计算（PNM）的执行效率。