每天听简报，了解最新科技、AI、软件资讯
苹果机器学习研究团队近期披露了端侧分布式推理的最新成果。依托自研开源深度学习框架，研究人员通过基于雷电接口的高速远程直接内存访问技术，将四台桌面工作站组成紧密协作的互联集群。在张量并行调度下，该集群成功运行了参数规模超过八千亿的混合专家大模型，每秒生成速度超过三十六个词元，远超人类日常阅读速度。这项成果表明，借助统一内存架构与芯片级硬件加速，研究人员无需依赖远端云算力，便能在工位本地私密部署前沿大模型。
进度保存在本设备 · 登录同步