微软把 llama.cpp 装进 Windows ML：GGUF 模型可在系统层直接跑，自动选 GPU/NPU/CPU

微软 10 月 7 日在 Windows 开发者博客宣布，Windows ML 加入实验性 llama.cpp 支持：开发者可以把 Hugging Face 上的 GGUF 权重直接拉到本机跑，不必先转成 ONNX。新的 Text Generation API 同时接受 GGUF 与 ONNX，Windows ML 自动挑执行引擎（GGUF 交给 llama.cpp，其余走既有运行时），并把推理路由到 GPU、NPU 或 CPU（对应 QNN / OpenVINO / TensorRT for RTX）。同批还放出 Speech Recognition API（ONNX Whisper）与 Windows 原生 Runtime API 预览。

变化在于本地推理从「装一个第三方应用」变成操作系统自带能力：Ollama、LM Studio 这类工具此前都不会把推理交给 NPU，而 Windows ML 会优先用上 Copilot+ PC 空闲的 NPU。微软称与英伟达合作为 llama.cpp 贡献了 CUDA 内核优化与投机解码；同日的 Windows 体验博客把这条路线称为「混合智能」，并列出本地可跑的 DeepSeek V4 Flash（284B、1.6-bit 量化压进 60GB）与英伟达 10 月 15 日将发布的 70B+ 本地 Nemotron。官方强调 llama.cpp 支持仍是实验性，不建议直接用于生产。

原文链接：Windows 开发者博客 / Windows 体验博客