每天听简报,了解最新科技、AI、软件资讯
麻省理工学院团队证实,大模型可以直接读取并用代码修改神经网络的底层原始权重,无需任何梯度下降或反向传播。 在一项实验中,前沿模型通过审查千问零点八 B 模型的权重矩阵,精准定位到了导致无限复读思考循环的具体参数。研究人员完全没有使用优化器,仅仅用代码直接修改了万分之一点六的权重,也就是大约十三万个参数。 这一没有梯度的直接修改,把该模型在数学评测中的得分从百分之七点九直接拉升到了百分之五十一点零。目前修改后的模型权重和演示已经在抱抱脸开源。
进度保存在本设备 · 登录同步