每天听简报,了解最新科技、AI、软件资讯
图像生成框架 Diffusers 改了多卡加载方式,每个进程只读取自己要用的权重分片。这样就不用先把整个模型读进内存,再拆到不同显卡上。官方在四张 A 十 G 上测试 FLUX 二的三百二十亿参数转换器,加载时间从三十点四秒缩到十二点五秒。每个进程的 CPU 内存峰值,也从六十四点一 G 降到六点八 G。这组数字讲的是模型加载,不能当作出图加速。文档还列出限制:这种加载暂不能和量化、权重卸载或低秩适配器一起用。已经分片的模型,也还不能直接保存。
进度保存在本设备 · 登录同步