跳到正文
Mistral 新模型·· 14 天前精选AI 评分63

Mistral发布1万亿参数多模态模型Mistral-Large-4-1T-A52B-NVFP4

mistralai/Mistral-Large-4-1T-A52B-NVFP4

AI 导读

Mistral发布其最大模型Mistral-Large-4-1T-A52B-NVFP4,为1万亿参数的原生多模态MoE模型,支持1M上下文窗口、图像输入和工具调用,采用NVFP4量化以降低显存占用并加速推理。该模型专为Blackwell GPU优化,提供vLLM和SGLang部署方案,并支持DSpark推测解码。

推荐理由

原文提供了NVFP4量化版本的部署方法和性能优化细节,读者可据此评估在Blackwell GPU上的实际推理效率和资源占用。

来源:Mistral 新模型 · huggingface.co