PyTorch Blog于2026年10月2日介绍了将Helion集成到vLLM线性后端的工作。团队希望探索：用高层内核领域专用语言和自动调优，在降低内核实现复杂度的同时，提高大模型推理性能。

这次集成的核心是一份Helion通用矩阵乘法（GEMM）实现。它可以覆盖Standard GEMM、Split-K和Swap-AB等算法变体，再针对不同矩阵形状进行自动调优，选择表现最佳的变体和配置，而不是为每种工作负载分别编写实现。

据文章报告，在英伟达Hopper GPU上，Helion线性后端结合按形状调优与混合分派，在所评估的模型中优于vLLM默认的CUTLASS和DeepGEMM后端，取得持续的端到端性能收益。其中，部分工作负载的吞吐量提升超过10%。这一数字对应文章中的特定评估范围，并非所有硬件或负载的统一提升幅度。

vLLM是面向大模型的推理与服务框架，其专用线性后端可为FP8、INT8、INT4、NVFP4等量化线性层接入硬件优化内核。这是文章交代的vLLM背景，不能据此把这些量化格式全部视为此次Helion集成已经验证的范围。

Helion则是PyTorch原生、与硬件无关的内核领域专用语言，采用分块编程模型。开发者用简洁的Python风格代码表达内核，由Helion生成面向不同负载和硬件的专用代码。其提前运行的自动调优器会搜索内存布局、内核调度及算法选择等配置；文章还说明，Helion支持由大模型引导的搜索，以进一步提高调优效率。

原始来源：Building a High-Performance and Portable vLLM Linear Backend with Helion