跳到正文
智东西· 江 宇·· 3 小时前精选AI 评分64

面壁智能姚远:端侧多模态模型实现30 Token/s生成速度,预测两年内GPT-6级能力可跑在手机上

面壁智能姚远:两年GPT-6级AI跑在手机上,现在点外卖订机票有点无聊

AI 导读

面壁智能联席首席科学家姚远在技术交流活动中透露,团队通过前瞻专家调度(LES)等技术,将MiniCPM-V 4.7 35B-A3B在手机上的生成速度提升至30 Token/s以上,内存占用控制在约3GB,模型精度损失可忽略。

推荐理由

原文披露了端侧多模态模型的推理优化技术细节和性能数据,读者可以据此理解当前手机端AI能力的边界和未来趋势。

来源:智东西 · zhidx.com