跳到正文
Hacker News · AI· henriquegogo·· 2 小时前AI 评分57

lowvram:一个在低显存GPU上运行大AI模型的CLI工具

Lowvram: A CLI tool to run large AI models in low VRAM GPUs

AI 导读

Henrique Soares 开发了 lowvram,一个通过拦截CUDA调用、利用系统内存缓解显存不足的CLI工具。该工具通过替换cuMemAlloc为cuMemAllocManaged,使应用在6GB显存的RTX 3060上成功运行YuE2和Qwen3-TTS等模型,生成速度达43.1 tokens/秒,比标准Accelerate方法快23倍。

来源:Hacker News · AI · soarhen.com