跳到正文
Hacker News · AI· antimora·· 3 小时前AI 评分54

Windows ML新增对GGUF和llama.cpp的实验性支持,强化本地AI开发栈

AI Development on Windows: From PyTorch and Llama.cpp to Windows ML

AI 导读

Windows ML发布新功能,支持通过实验性API运行GGUF模型,集成llama.cpp并提供OpenAI兼容端点;同时增强PyTorch和Triton在Windows Arm64上的原生支持,支持模型训练、导出和本地推理,开发者可通过Windows ML CLI进行模型优化和基准测试。

来源:Hacker News · AI · devblogs.microsoft.com