每天听简报，了解最新科技、AI、软件资讯
分词库tokenizers这次提速三到三十倍，团队没把功劳全揽给自己，公开说是读了tiktoken这些同类开源项目的代码，才想通几处关键优化。这个态度挺少见，一般发布公告只会说自己多厉害。工程上最直接的改动是把一个包拆成四块，只做编码用不着训练代码，装包时能把训练那部分整个踢出去。最费时间的合并环节也被重写，以前每比较一对候选合并都要单独判断，现在被压进一个六十四位整数，直接比大小就找到下一步该合并谁，循环里彻底去掉了分支判断。八线程并行能跑到理论上限的百分之七十六。团队说下一步是把这些提速带进transformers这个更上层的库，眼下能感受到的还只是底层这一层。
进度保存在本设备 · 登录同步