面壁 MiniCPM5-2B 模型发布
面壁 MiniCPM5-2B 模型发布,为2B参数量级的密集Transformer模型,支持131,072上下文长度,适用于本地部署和资源受限场景。模型在2B规模中达到开源SOTA,平均分53.9,优于多个4B模型,在代码、数学、长上下文、工具调用和智能体任务中表现突出。
推荐理由:原文给出了模型参数、训练数据、评测基准和多芯片部署方案,读者可以据此判断它在2B规模模型中的性能定位和本地部署可行性。
技术方向
跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。
22 条精选近 30 天 20 条共收录 334 条
面壁 MiniCPM5-2B 模型发布,为2B参数量级的密集Transformer模型,支持131,072上下文长度,适用于本地部署和资源受限场景。模型在2B规模中达到开源SOTA,平均分53.9,优于多个4B模型,在代码、数学、长上下文、工具调用和智能体任务中表现突出。
推荐理由:原文给出了模型参数、训练数据、评测基准和多芯片部署方案,读者可以据此判断它在2B规模模型中的性能定位和本地部署可行性。
NVIDIA Nemotron 3.5 Lightning 模型已在 Ollama 上提供,这是一个专为长期运行的智能体设计的 300 亿参数开源模型。它采用混合专家架构,每 token 仅激活 30 亿参数,支持高达 100 万 token 的上下文,并针对本地 NVIDIA RTX 设备进行了优化,可实现比同类开源模型高 4 倍的吞吐量。
推荐理由:原文提供了模型的核心架构、性能基准和本地部署优势,读者可以据此评估它是否适合作为长期运行的智能体基座。