Hugging Face Blog·· 12 小时前精选AI 评分70
PyTorch 2.15 发布:MPS 支持 FP8 和更快的 LLM 解码
MPS in PyTorch 2.15
AI 导读
PyTorch 2.15 在 MPS 后端引入 FP8 精度支持,提升 Mac 上模型运行效率。MoE 模型解码速度提升 5–6.5×,Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 提升至 61.3 tokens/s。
推荐理由
原文给出了具体性能提升数据和新功能入口,读者可以据此判断它对本地模型运行效率的实际影响。
来源:Hugging Face Blog · huggingface.co