每天听简报，了解最新科技、AI、软件资讯
一个开发者做出一个只需八G显存就能从零训练、还能持续学习不遗忘的语言模型，取名迷你AGI。权重存在硬盘上按需读进显卡，参数量因此不再受显存限制。最关键的发现是：把主干网络学习率降到专家模块的十分之一。模型读完五十万字符棋谱后，其余七个学科的遗忘幅度从百分之五十多降到几乎为零。模型总共五亿四千万参数，显卡里却只常驻三十二个专家，约一亿参数。评论区分歧不小，有人认为这是最接近本地AGI的一次尝试。也有研究连续学习的教授反驳说，取名AGI却不给任何性能对比，就是过度营销。
进度保存在本设备 · 登录同步