每天听简报,了解最新科技、AI、软件资讯
AI 芯片公司 Cerebras 在生产环境正式上线了分离式推理架构,用 GPU 处理输入提示词预填充,让自家晶圆级引擎 CS-3 专注逐字解码输出,实测每兆瓦功耗的吞吐量提升了五倍,同时不损失生成速度。 在推理云的真实部署里,团队让 AMD Instinct GPU 跑前端计算,再通过 KV Portal 软件把中间缓存经由 RDMA 网络传给片上 SRAM 带宽极高的 CS-3 完成生成。目前 AWS 和 Fireworks AI 等早期合作伙伴已经接入这套方案。 评论区有人称赞跨平台分离预填充与解码是工程突破,也有人关心前缀缓存能否带来对应降价。
进度保存在本设备 · 登录同步