每天听简报,了解最新科技、AI、软件资讯
本地大模型推理底层张量库 ggml 正式发布了 1.0 版本。 继上层引擎 llama.cpp 迈入一点零之后,这个大版本先清理了历史废弃接口,并把远程调用协议升到第九版,节点断联或版本不兼容时都能更稳妥地处理。 性能方面覆盖了主流硬件后端:CUDA 新增标准 FP8 支持与小批量量化矩阵乘法;Metal 强化了混合专家模型融合;Vulkan 和 OpenCL 补齐注意力加速路径,WebGPU 也增加了新内核。 此外,调度器还会跳过未读数据上传,把部分缓存未命中异步分流给 CPU。
进度保存在本设备 · 登录同步