每天听简报，了解最新科技、AI、软件资讯
开源工具 Strata 的作者称，一千二百五十亿参数的大模型能在游戏电脑上本地运行。它把常用的专家模块放进显卡，其余留在内存，由处理器分担计算。作者测得，十二 G 显存的 RTX 5070，配六十四 G 内存，二比特压缩版本每秒生成九十四个词元。同一张卡换成压缩较少的版本，速度降到五十三个。作者还展示了一次提示生成的立体宝塔花园。评论区有人报告跑出了更高速度，也有人质疑低精度压缩会损害复杂编程能力。吞吐量已经有展示，长任务的准确率仍需要配套测试。
进度保存在本设备 · 登录同步