据PyTorch Blog于2026年10月28日发布的版本公告,PyTorch 2.15已发布。此次更新将重写版NCCL后端从上一版本的预览推进为默认配置,同时更新分布式训练、低精度大模型解码和多硬件平台支持。

分布式训练方面,重写版后端现在用于每个nccl进程组,并配备可在挂起时转储记录的“飞行记录器”。版本仍提供回退路径:设置TORCH_DIST_USE_NCCL2=0,或使用nccl-legacy。torch.distributed还加入单边传输能力,包含NIXL后端,以及可被CUDA Graph捕获的传输。

训练过程中的内存与通信控制也进一步细化。公告列出的FSDP2和流水线更新包括:为精度敏感参数使用fp32、通过CUDA Graph捕获梯度累积,以及让梯度归约与计算重叠执行。

推理优化则有明确的硬件和任务范围。在NVIDIA Blackwell GPU上,NVGEMM通过减少内核启动次数、改善执行重叠,加快4位NVFP4大模型解码。Apple Silicon新增FP8支持,包括float8_e4m3fn和_scaled_mm;新的grouped_mm提供解码快速路径,公告给出的MoE解码吞吐量为原来的1.32至1.34倍,并开放torch.mps.Stream API。

平台支持方面,AMD gfx950获得FlyDSL内核,gfx1250(MI450)获得Tensor Data Mover支持,并提供ROCm 10.0 wheel包;公告将对下一代Instinct的支持标为预览。Intel GPU则增加更简便的SYCL内核编写方式和多GPU性能分析能力。

安装包与语言环境也有变化:CUDA 13.2成为默认wheel版本,同时提供CUDA 13.4版本,torch.compile开始支持Python 3.15。这些更新分别对应不同硬件、软件环境和训练或推理环节,并非一项适用于所有设备的统一性能提升。

原始来源:PyTorch 2.15 Release Blog