每天听简报，了解最新科技、AI、软件资讯
ERRC把多设备推理时压缩通信省下的比特，再用来修正量化误差。PyTorch官方海报摘要介绍，多块设备协同运行大模型，需要传递中间激活数据。常见方案保留敏感特征的高精度，其余压成四位整数，但会带来重建误差。ERRC再对四位数据做熵编码，把省下的空间用于传输残差修正。作者用二十亿参数的Gemma模型做双设备张量并行模拟。对比部分特征保留高精度、其余四位量化的基线，通信最多减少百分之十二点四，均方误差最多降低百分之十点八，仍在原通信预算内。这是模拟结果，还不能直接当成实机加速幅度。
进度保存在本设备 · 登录同步