每天听简报，了解最新科技、AI、软件资讯
大模型推理的成本，过去一年下降了两百五十倍，还没有放缓。一篇技术博客算了硬件、模型架构、推理引擎的全链条账，得出模型完成一个任务的花费降了上百倍。作者据此判断，一两年内大模型会嵌进各种软件基础设施。三到六年内，普通硬件也能本地跑出目前顶尖水平的模型。评论区不买账。有人反问，最近内存显卡都在缺货涨价，凭什么说三到六年后普通硬件能跑动顶尖模型。也有人指出，文章前后两张成本对比图口径不一样。一张算整套智能指数的成本，另一张算按任务加权的平均成本，这个差异作者没交代清楚。
进度保存在本设备 · 登录同步