跳到正文

技术方向

端侧 AI 最新动态

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

61 条精选近 30 天 51 条共收录 896 条

更新

精选归档 · 第 4 页

8月11日周二第 61–61 条
  1. Ollama 博客70

    NVIDIA Nemotron 3.5 Lightning 模型在 Ollama 上可用

    NVIDIA Nemotron 3.5 Lightning 模型已在 Ollama 上提供,这是一个专为长期运行的智能体设计的 300 亿参数开源模型。它采用混合专家架构,每 token 仅激活 30 亿参数,支持高达 100 万 token 的上下文,并针对本地 NVIDIA RTX 设备进行了优化,可实现比同类开源模型高 4 倍的吞吐量。

    推荐理由:原文提供了模型的核心架构、性能基准和本地部署优势,读者可以据此评估它是否适合作为长期运行的智能体基座。