据PyTorch Blog于2026年11月12日发表的团队文章，两名开发者借助AI编程智能体，在不到一周内完成了SGLang与IBM Spyre的初步集成，插件代码约1500行。团队希望把SGLang的推理服务栈，包括内置的前缀共享能力，带给Spyre用户。
这次接入建立在已有硬件支持之上。Spyre是IBM面向企业AI推理的加速器，通过torch-spyre注册为PyTorch设备，并接入torch.compile，以标准PyTorch API提供硬件能力。AI编程智能体以现有Spyre算子的PyTorch实现为参考，把集成代码适配到SGLang的后端接口，工作重点是连接已有硬件支持与新的服务框架。
除插件外，团队还用四个小补丁扩展了SGLang的后端支持：两个让既有执行路径摆脱CUDA专属依赖，另外两个将Spyre注册为受支持的设备和不使用Triton的注意力后端。作者指出，前两项兼容性改动也可支持其他加速器，注册改动则针对Spyre。通过RadixCache实现的前缀共享无需为Spyre做专门修改即可工作。
性能方面，作者报告，Spyre上的SGLang吞吐量约为使用torch-spyre的参考PyTorch推理实现的3.6倍。团队还在Spyre上以Granite 3.3 8B和Gemma 4 26B A4B比较了SGLang与vLLM；在这两个模型已测量的工作负载中，两者性能相当。
作者将快速完成接入归因于可用的编译器、已有推理服务器，以及可复用的硬件实现。PyTorch与torch.compile提供了服务框架都能使用的共享实现层，SGLang则提供了清晰的扩展接口。这次AI辅助开发主要完成的是已有能力的适配与连接，而不是从头实现加速器支持。