How Small Can We Slice an AI Model?

一种新型 AI 模型架构通过将计算任务分割到多个设备上，使模型能够在消费级设备上运行。该方法在 MLP 层采用专家级分片和目标激活技术，仅需 500 MB 到 1 GB 的内存即可运行模型的一部分。同时，通过压缩 KV 缓存和稀疏注意力机制，降低长上下文推理的内存需求和网络负载，使边缘设备能够协同完成推理任务。