跳到正文
IT之家·· 5 小时前精选AI 评分66

淘宝MNN团队发布0.3B手机模型MNN-Pocket-0.3B,iPhone 18 Pro离线跑出350 token/s

淘宝 MNN 团队开源 0.3B 手机模型,苹果 iPhone 18 Pro 离线跑出 350 token/s

AI 导读

淘宝MNN团队发布MNN-Pocket-0.3B模型,面向手机端应用设计,参数约3亿,支持中英文,INT4部署文件173MB,峰值内存低于300MB。在iPhone 18 Pro上离线运行,平均解码速度达350 token/s。

推荐理由

原文给出了模型参数、性能指标和开源版本,读者可以据此判断其在手机端部署的可行性与效率优势。

来源:IT之家 · ithome.com