作者分享M5 Ultra Mac多模型本地AI配置与测试

作者 tylermhall 分享了在配备 M5 Ultra 芯片和 256 GB 统一内存的 Mac Studio 上部署多模型本地 AI 系统的配置方案与性能测试。 他通过四个模型槽位实现多任务并行：大槽位运行 Qwen3.8 Flash Next 模型（占用 99 GB），小文本槽位主要运行 4-bit 量化的 Gemma 4 26B 模型，小视觉槽位运行 Qwen 3.6 35B-A3B 模型，决策槽位运行 Clef-Flash 9B 模型。 作者称，他在 10 月 2 日进行了基准测试，期间小模型在同一个 GPU 上持续处理任务。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。