AI 行业资讯 - GGUF

微软推出Windows ML Runtime API，实验性支持GGUF与ONNX模型本地推理

微软与 llama.cpp、GGUF 开源社区合作升级 Windows ML，实验性原生支持 GGUF 与 ONNX 格式模型推理，推出 Windows ML Runtime API，并新增 Text Generation API 与 Speech Recognition API；同时携手英伟达向 llama.cpp 贡献性能优化代码。