Hacker News · AI· vforno·· 3 小时前精选AI 评分64
Lumabri 发布跨设备私有大模型推理服务，支持纯C实现与Colibri引擎集成
Show HN: Lumabri – Run large AI models across your computers and servers.Pure C
AI 导读
Lumabri 是一个纯C实现的私有推理服务，可在多台计算机和服务器间运行大模型，基于Colibri引擎，通过终端或内置网页界面进行聊天。用户可选择模型、指定参与设备并批准内存使用，支持跨设备分层加载模型权重，不复制完整模型副本。
推荐理由
原文提供了跨设备运行大模型的私有推理服务架构和部署方式，读者可据此判断其在本地多设备协同推理中的实际可用性。
来源：Hacker News · AI · github.com