Tensward – 本地大语言模型推理优化工具

Tensward 是一个用于本地优化大语言模型推理性能的工具，通过逐步测试和保留提升速度的配置变更，帮助用户在自己的机器上更高效地运行 LLM。在 NVIDIA L4 GPU 上测试 Qwen3.5-35B-A3B 模型时，使用 --n-gpu-layers all 和 --n-cpu-moe 17 配置后，请求速度提升了 33%，输出速度提升 32%，首字延迟降低 42%。