跳到正文

技术方向

端侧 AI 最新动态

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

6 条精选近 30 天 5 条共收录 28 条

更新

端侧 AI的精选

今天10月5日周一第 1–6 条
  1. IT之家63

    华为麒麟 9050 Pro 芯片裸片显微照首曝,采用双裸片垂直堆叠技术

    半导体分析机构 Kurnal Insights 发布了华为麒麟 9050 Pro 芯片的裸片显微照,首次展示其内部结构。该芯片由两颗尺寸相同的裸片垂直堆叠而成,总面积小于前代,晶体管密度提升约 55%,并在性能对齐条件下实现了 NPU、GPU 和 CPU 性能核的功耗显著降低。

    推荐理由:原文提供了芯片结构、密度提升和功耗降低的具体数据,读者可以据此评估其技术突破点和实际应用潜力。

  2. Hacker News · AI67

    在 Xteink X3 电子阅读器上运行 Muse AI

    作者成功将 Muse Gadget SDK 移植到仅有 321 KB RAM 的 Xteink X3 电子阅读器上,实现了通过 Wi-Fi 连接 Muse AI 并显示待办事项、笔记等内容。

    推荐理由:作者分享了在内存极有限的 ESP32-C3 设备上适配 Muse SDK 的具体步骤和内存优化技巧,为其他端侧 AI 项目提供了可参考的工程经验。

10月4日周日
  1. Hacker News · AI 高赞68

    SCM 发布 macOS 本地 AI 媒体搜索工具

    SCM 是一个 macOS 本地优先的 AI 媒体搜索工具,可对照片和视频的每一帧进行语义搜索。它使用本地视觉模型(如 CLIP、SigLIP)和 Whisper 进行推理,支持基于含义、场景、OCR 文本和对话的搜索,所有数据均不离开设备。项目通过 Homebrew 安装,使用 Electron、Bun、ONNX Runtime 等技术栈构建。

    推荐理由:原文详细说明了本地化多模态搜索的实现路径和隐私设计,为有类似需求的开发者提供了可参考的技术栈和架构思路。

10月2日周五
  1. NVIDIA Blog58

    NVIDIA 推出 64GB 内存版 DGX Spark 本地 AI 开发平台

    NVIDIA 发布 DGX Spark 64GB 内存配置,为开发者提供更低成本的本地 AI 开发与部署平台。该配置支持高达 1000 亿参数的模型完全在设备上运行,并可通过 NVIDIA Sync Cluster Assistant 将两台设备集群,将内存扩展至 128GB,在 Qwen 3.8 27B 测试中实现最高 1.7 倍的性能提升。

    推荐理由:NVIDIA 为 DGX Spark 推出更低内存配置,降低了本地 AI 开发的门槛,并展示了通过集群扩展性能的具体方法。

8月11日周二
  1. Ollama 博客70

    NVIDIA Nemotron 3.5 Lightning 模型在 Ollama 上可用

    NVIDIA Nemotron 3.5 Lightning 模型已在 Ollama 上提供,这是一个专为长期运行的智能体设计的 300 亿参数开源模型。它采用混合专家架构,每 token 仅激活 30 亿参数,支持高达 100 万 token 的上下文,并针对本地 NVIDIA RTX 设备进行了优化,可实现比同类开源模型高 4 倍的吞吐量。

    推荐理由:原文提供了模型的核心架构、性能基准和本地部署优势,读者可以据此评估它是否适合作为长期运行的智能体基座。