TorchNeuron接入HF原生接口，10月20日开放公测

Hugging Face于2026年10月19日在官方博客介绍，TorchNeuron将为AWS Trainium提供新的PyTorch原生后端，计划从10月20日起开放公开测试。届时，研究人员和开发者可通过pip install torch-neuronx安装。

TorchNeuron是一款PyTorch插件，将neuron暴露为原生设备，支持即时执行、torch.compile，以及DTensor、FSDP2等PyTorch原生分布式机制。博客称，Transformers、Diffusers、Accelerate、PEFT和TRL可以直接在Trainium上运行，沿用面向其他加速器的类和脚本。

这改变了此前Hugging Face接入AWS Trainium的方式。过去，相关支持通过Optimum Neuron提供，其依赖的torch-neuronx包基于PyTorch XLA，需要处理惰性张量、静态形状，以及每次计算图中断后的重新编译。Optimum Neuron为隐藏这些复杂性，维护了定制的模型类、训练器等代码。随着新后端接入，Hugging Face建议Neuron用户直接使用上述库，不再通过Optimum Neuron。

在文本生成推理方面，博客给出的具体变化是：使用TorchNeuron时，使用量最高的100种文本生成模型架构中，有89%可获得开箱即用的支持；Optimum Neuron v0.4.5对应的比例为46%。这一比较针对模型架构支持范围，并非运行速度或生成质量。

对于已支持的文本生成模型，开发者可在代码中传入device_map=neuron，将模型移至Neuron设备。博客还给出了使用张量并行的文本生成示例，并强烈建议在Neuron生成任务中使用静态缓存，以避免频繁重新编译。原生接口带来的是接入方式的变化，生成配置仍需考虑这一要求。

原始来源：TorchNeuron: running HF models on AWS Trainium is easier than ever