跳到正文
Hugging Face Blog·· 12 小时前精选AI 评分70

PyTorch 2.15 发布:MPS 支持 FP8 和更快的 LLM 解码

MPS in PyTorch 2.15

AI 导读

PyTorch 2.15 在 MPS 后端引入 FP8 精度支持,提升 Mac 上模型运行效率。MoE 模型解码速度提升 5–6.5×,Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 提升至 61.3 tokens/s。

推荐理由

原文给出了具体性能提升数据和新功能入口,读者可以据此判断它对本地模型运行效率的实际影响。

来源:Hugging Face Blog · huggingface.co