每天听简报，了解最新科技、AI、软件资讯
PyTorch官方账号发了一条会议预告，今年十月二十号到二十一号在圣何塞开的PyTorch大会，专门有一个环节讲怎么让大模型推理跑得更快。两个新出的优化器是主角，一个叫Muon，一个叫TorchJD，官方说它们能应对带多个损失函数的训练场景，提升训练效率。配合的还有两个跟服务相关的工具，fastsafetensors负责加快模型加载，LMCache负责做推理缓存，一起把大模型对外提供服务的速度提上去。这条推文本身没有给出具体提速多少的数字，只是一份会前的议程预告。列出的演讲嘉宾来自亚马逊云、Meta、谷歌、英伟达、华为、IBM、英特尔、字节跳动、哈佛大学等几十家公司和机构，阵仗不小，说明这几个优化方向已经是行业里在共同推进的东西。
进度保存在本设备 · 登录同步