Hacker News · AI· henriquegogo·· 2 小时前AI 评分57
lowvram:一个在低显存GPU上运行大AI模型的CLI工具
Lowvram: A CLI tool to run large AI models in low VRAM GPUs
AI 导读
Henrique Soares 开发了 lowvram,一个通过拦截CUDA调用、利用系统内存缓解显存不足的CLI工具。该工具通过替换cuMemAlloc为cuMemAllocManaged,使应用在6GB显存的RTX 3060上成功运行YuE2和Qwen3-TTS等模型,生成速度达43.1 tokens/秒,比标准Accelerate方法快23倍。
来源:Hacker News · AI · soarhen.com