vLLM

收录 3 篇关于“vLLM”的文章，最近更新于 2026-10-15。

AI资讯2026-10-15 21:15

英特尔推出至强推理微服务，自动配置vLLM参数

据IT之家10月14日报道，英特尔宣布推出Intel Inference Microservices，一套面向大语言模型推理的容器化微服务方案。它面向已有至强处理器的企业环境，将硬件检测和参数调优封装进容器，目标是减少用户手动优化硬件配置所需的时间。每个微服务以独立容器运行，通过OpenAI兼容API提供单个模型的服务。

AI资讯2026-10-03 09:15

Helion接入vLLM线性后端，部分负载吞吐提升超10%

PyTorch Blog于2026年10月2日介绍了将Helion集成到vLLM线性后端的工作。团队希望探索：用高层内核领域专用语言和自动调优，在降低内核实现复杂度的同时，提高大模型推理性能。这次集成的核心是一份Helion通用矩阵乘法（GEMM）实现。

AI资讯2026-09-28 13:06

Shopify用PyTorch和vLLM构建持续学习循环

PyTorch博客的一篇案例文章介绍，Shopify用PyTorch和vLLM构建持续学习循环，将生产环境中积累的失败案例用于更新模型权重。文章以Shopify的GraphQL智能体为例，称这一做法的质量高于通用前沿模型，同时降低了延迟，并将服务成本削减96%。这些效果是文章对该案例的描述，不能直接套用于其他产品。这套循环先要定义什么是“好”的回答。