每天听简报，了解最新科技、AI、软件资讯
哈金脸团队耗费八十万GPU算力小时，正式开源了一份七万字的混合专家模型训练实战手册。 目前开源头部大模型普遍转向混合专家架构，但训练诀窍大多垄断在少数核心团队手中。这份手册通过五十五张交互图表与真实集群代码，逐一拆解了训练步频暴降二十五倍的排查方案、全对全通信掩盖技巧，以及路由函数的数值选型。 团队消融实验还给出了关键实证：在固定总参数下，细分专家数量超过一百二十八个后模型收益便会饱和，后续算力反倒会被细碎矩阵乘法与集群通信开销吞噬。
进度保存在本设备 · 登录同步