新型AI架构实现模型在消费设备上分片运行

研究人员提出一种新型AI模型架构，通过将计算任务分割到多个设备上，使模型能在消费级设备上运行。该方法在MLP层采用专家级分片和目标激活技术，使模型部分仅需500 MB到1 GB内存即可运行，同时通过压缩KV缓存和稀疏注意力机制降低长上下文推理的内存需求和网络负载，实现边缘设备的协同推理。

AI 根据报道生成 · 59 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。