至强处理器

英特尔推出至强推理微服务，自动配置vLLM参数

据IT之家10月14日报道，英特尔宣布推出Intel Inference Microservices，一套面向大语言模型推理的容器化微服务方案。它面向已有至强处理器的企业环境，将硬件检测和参数调优封装进容器，目标是减少用户手动优化硬件配置所需的时间。 每个微服务以独立容器运行，通过OpenAI兼容API提供单个模型的服务。