Vibe News

三值大模型的每个权重只有负一、零、正一三种取值，行业标准打包方式给每个权重分摊一点六二五比特，这次研究把它压到了一点四八五比特。一点五八五这道门槛来自三种符号概率相等的假设，比整数两比特省，因为两比特能装四种状态，三值权重只用了三种。研究人员实测二十九个模型后发现，零占比最高到百分之五十一点五，远不是三分天下。他们改用位图标出哪里是零，再给非零权重的正负号单独打包，零越多，平均比特数越少。二十九个模型里二十六个更省空间，无损重打包，权重数值没变。论文没提第三方复现，评论区有人反而质疑三值量化这条路本身，认为矢量量化更适合这个精度区间。