每天听简报,了解最新科技、AI、软件资讯
微软为 Windows ML 增加了实验性的 llama.cpp 集成,开发者可以通过统一接口,在电脑本地运行 GGUF 格式的语言模型。新的文本生成接口同时接受 GGUF 和 ONNX,系统会按模型选择执行引擎。它还提供兼容 OpenAI 的本地服务入口,已有客户端能改连本机地址进行原型测试。首批另外加入语音识别接口,用 Whisper 把音频转成文字,再交给语言模型处理。需要控制多个模型的开发者,也能使用底层运行接口,指定各阶段在哪类处理器上执行。这批能力仍属实验预览,原有 ONNX Runtime 接口继续得到支持。
进度保存在本设备 · 登录同步