每天听简报，了解最新科技、AI、软件资讯
PrismML把新一代本地AI模型压缩到了九倍体积，性能几乎不打折。这个叫Ternary Bonsai二代二十七B的模型，基于Qwen三点八二十七B，用三元权重把每个参数压到一点七六比特，整个模型只有五点九个G，却保住了满血版百分之九十八点二的跑分，比上一代的百分之九十五又往前迈了一大步。它支持二十六万两千词元的上下文，能看图能编程，还能操作电脑完成多步任务。在RTX五零九零显卡上，推理速度能跑到每秒一百四十三个词元。团队说，能耗上比同级的八B满血模型省了四成。这家公司出自加州理工的研究团队，背后有Khosla Ventures和谷歌的支持。低比特模型正在把本地跑大模型，从能不能用变成好不好用。
进度保存在本设备 · 登录同步