每天听简报，了解最新科技、AI、软件资讯
LittleBit 把大模型权重压到平均不到一比特，靠的是先拆矩阵，再把拆出的因子二值化。少量可学习的缩放参数，负责补回数值幅度。它探索的最低设置是每个权重零点一比特，还需要量化感知训练。这是二零二五年研究及其后续工作的官方实现，并非十月刚提出的新方法。第二代主要在初始化时旋转潜在表示，让它更适合二值化，部署时不额外增加这一步计算。论文报告的优势集中在极低比特区间，不能理解为原模型能力完全保留。仓库也提供评估脚本，具体模型的效果仍需逐项验证。
进度保存在本设备 · 登录同步