每天听简报，了解最新科技、AI、软件资讯
本地模型工具 llama.cpp，可以把一次推理分给不同机器上的处理器和显卡。它使用远程调用后端，让主机把计算交给联网的其他设备。官方文档展示了英伟达显卡、苹果图形处理器和普通处理器一起参与的结构。默认情况下，模型权重和运行缓存会按各设备可用内存的比例分配，也能手动调整。远端还可缓存大块模型数据，减少重复传输。作者把它称为高级设置，希望以后更容易使用。官方目前仍将这个后端标为概念验证，明确要求不要放在开放网络或敏感环境运行。
进度保存在本设备 · 登录同步