每天听简报,了解最新科技、AI、软件资讯
Qwen的图像生成模型本来要靠一个九十亿参数的模型,把简短请求扩写成长篇英文提示词才能画图。现在有人把它蒸馏成了一个八亿参数的小模型,笔记本电脑就能跑,整个研发只花了十六美元。新模型不用系统提示词也不思考,直接吐出改写结果,用的token只有原来的百分之二十八。格式合规率却和原版基本打平。这十六美元里,训练模型只花了不到一美元,八成的钱都花在打标签和做评测上。作者据此判断,蒸馏模型真正烧钱的是数据和评测,不是训练本身。整套流程是一个AI系统无人值守跑完的,前后大约十一个小时。
进度保存在本设备 · 登录同步