每天听简报，了解最新科技、AI、软件资讯
中国AI公司智谱旗下的Z点AI，为大模型GLM五点三，在超过十万块国产AI芯片的集群上，从零搭出了一整套生产级推理系统，大量工程活是用GLM五点三驱动的一个智能体自己干出来的。从第一次跑通到扛住线上流量，只花了不到两周，推理吞吐量提高了大概三倍，硬件效率追平了主流英伟达显卡。关键是给它精确到位的反馈，比如它发现某环节慢了两成，查到一个函数一直占着全局锁，让另一个传输线程插不上手，放开锁后差距压到百分之一以内。这套系统上线不到一周就成了两个平台上用得最多的模型，六天处理了超过六十二万亿个token。评论区感慨，芯片禁运本想卡住中国AI，这条路径撑住了十万卡级别的集群。
进度保存在本设备 · 登录同步