每天听简报,了解最新科技、AI、软件资讯
没有一家公司能在推理定价上打赢DeepSeek。说这话的是程序员thdxr,这是他自己的猜测,不是DeepSeek官方说法,也没给出每百万token的价格对比。他觉得GPU集群大多是通用款,没做针对性优化,DeepSeek便宜可能是专门为推理搭了集群。他举了个具体做法:配一个大容量固态硬盘集群,把内存放不下的缓存存到硬盘上顶着用。缓存是模型算过一遍就存起来、下次直接复用、不用重新计算的中间结果。按他的说法,这样处理过的缓存能撑够二十四小时以上。帖子最后他公开叫板一位网友,赌自己团队能搭出这套硬件方案。
进度保存在本设备 · 登录同步