Mistral 新模型·· 14 天前精选AI 评分63
Mistral发布1万亿参数多模态模型Mistral-Large-4-1T-A52B-NVFP4
mistralai/Mistral-Large-4-1T-A52B-NVFP4
AI 导读
Mistral发布其最大模型Mistral-Large-4-1T-A52B-NVFP4,为1万亿参数的原生多模态MoE模型,支持1M上下文窗口、图像输入和工具调用,采用NVFP4量化以降低显存占用并加速推理。该模型专为Blackwell GPU优化,提供vLLM和SGLang部署方案,并支持DSpark推测解码。
推荐理由
原文提供了NVFP4量化版本的部署方法和性能优化细节,读者可据此评估在Blackwell GPU上的实际推理效率和资源占用。
来源:Mistral 新模型 · huggingface.co