跳到正文

技术方向

端侧 AI 最新动态

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

22 条精选近 30 天 20 条共收录 334 条

更新

精选归档 · 第 2 页

8月27日周四第 21–22 条
  1. 面壁 MiniCPM 新模型58

    面壁 MiniCPM5-2B 模型发布

    面壁 MiniCPM5-2B 模型发布,为2B参数量级的密集Transformer模型,支持131,072上下文长度,适用于本地部署和资源受限场景。模型在2B规模中达到开源SOTA,平均分53.9,优于多个4B模型,在代码、数学、长上下文、工具调用和智能体任务中表现突出。

    推荐理由:原文给出了模型参数、训练数据、评测基准和多芯片部署方案,读者可以据此判断它在2B规模模型中的性能定位和本地部署可行性。

8月11日周二
  1. Ollama 博客70

    NVIDIA Nemotron 3.5 Lightning 模型在 Ollama 上可用

    NVIDIA Nemotron 3.5 Lightning 模型已在 Ollama 上提供,这是一个专为长期运行的智能体设计的 300 亿参数开源模型。它采用混合专家架构,每 token 仅激活 30 亿参数,支持高达 100 万 token 的上下文,并针对本地 NVIDIA RTX 设备进行了优化,可实现比同类开源模型高 4 倍的吞吐量。

    推荐理由:原文提供了模型的核心架构、性能基准和本地部署优势,读者可以据此评估它是否适合作为长期运行的智能体基座。