开发者发布lowvram工具以在低显存GPU运行大模型

开发者Henrique Soares发布了一个名为lowvram的CLI工具，该工具通过拦截CUDA内存调用并使用托管内存，旨在使大模型能在显存不足的GPU上运行。 其原理是，当模型的工作集超过物理显存容量时，数据将通过PCIe总线在系统内存和显存之间移动。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。