TorchTitan

Zephon测试：变更GPU数量后训练批次仍一致

训练中途换一组GPU继续运行，模型看到的数据还能保持一致吗？PyTorch Blog于2026年10月16日介绍了Zephon在TorchTitan中的测试：从同一个检查点恢复到不同GPU数量后，Zephon保持了与原始训练一致的全局批次，而标准数据加载器改变了样本序列。