Vibe News

训练到一半换一批显卡，送进模型的数据顺序也可能变掉。DatologyAI 开源的数据加载器 Zephon，尝试让全局批次在显卡数量变化时保持一致。它把决定顺序的状态更新，与耗时的并行处理拆开；再用预先固定的逻辑通道，把数据工作重新分配给不同显卡。团队在一个十亿参数稠密模型上，从十六张卡恢复到八张、三十二张或六十四张卡，核对到批次一致、损失曲线重合。不过，通道数和批次安排仍有约束。这解决的是数据加载的可复现性；混合专家模型还可能因路由变化，得到不同训练结果。