每天听简报,了解最新科技、AI、软件资讯
大模型开源库 Transformers 在五点二三版本推出了统一导出与量化接口,开发者用一套代码就能把模型导出到 ONNX、OpenVINO 和 ExecuTorch 等后端直接运行。 这套工具把量化也直接整合进了导出流程,导出的计算图和配置能像普通模型一样一键推送到社区仓库。官方公布的 EmbeddingGemma2 实测中,英特尔至强处理器配合 OpenVINO 推理比原生模式快四点一倍,开启整数八位量化可达四点九倍;A100 显卡走 TensorRT 后端更达到七点六倍,双双超越 PyTorch 自带编译加速。 不过官方文档也提醒,该功能目前仍属实验阶段,生产环境需锁定上游依赖版本。
进度保存在本设备 · 登录同步