Air-LLM：通过射频计算在边缘设备上广播 AI 权重进行 LLM 推理

Air-LLM 提出一种在边缘设备上无需存储或加载 LLM 权重即可进行推理的架构，通过射频混频器在射频域直接完成矩阵向量乘法。该方法利用 MIMO 空间复用和边缘设备的高效预编码-后编码对，显著缩短了广播时间。在 LLaMA-3.1-8B 模型上，其困惑度仅增加 4.0%，相比 FP16 和权重量化基线分别节省 157.7 倍和 40.4 倍能耗。