Zephon测试：变更GPU数量后训练批次仍一致

训练中途换一组GPU继续运行，模型看到的数据还能保持一致吗？PyTorch Blog于2026年10月16日介绍了Zephon在TorchTitan中的测试：从同一个检查点恢复到不同GPU数量后，Zephon保持了与原始训练一致的全局批次，而标准数据加载器改变了样本序列。

这项测试先用16张GPU训练一个10亿参数模型，在第150步保存检查点，再分别用8、32和64张GPU恢复训练，并与原始运行对照。使用标准数据加载器时，各次运行恢复后出现了不同的损失曲线；使用Zephon时，曲线重合，每一步全局批次的SHA-256哈希也都与基准运行匹配。

文章还用另一组实验说明数据顺序变化对评测的影响：同一个10亿参数模型使用标准数据加载器，分别在8、16、32和64张GPU上从头训练，每次训练量均为200亿个token。不同GPU数量对应的DCLM Core v1分数最多相差0.82分，基于FineWeb评测套件的分数最多相差0.64分。

据文章比较，这些差异约为DCLM和FineWeb作者评估数据筛选方法时所用相关阈值的四倍。作者因此指出，如果两种数据混合方案分别在不同GPU配置上做消融实验，测到的差异可能来自GPU数量，而非数据方案本身。Zephon此次展示的具体能力，是在上述检查点恢复测试中，让全局训练批次不随GPU数量变化。