据IT之家10月14日报道，英特尔宣布推出Intel Inference Microservices，一套面向大语言模型推理的容器化微服务方案。它面向已有至强处理器的企业环境，将硬件检测和参数调优封装进容器，目标是减少用户手动优化硬件配置所需的时间。
每个微服务以独立容器运行，通过OpenAI兼容API提供单个模型的服务。容器启动时，会检测处理器代数、分配到的核心数量、NUMA节点数量和处理器内置加速器，再选择英特尔针对相应模型与硬件预先验证的配置，解析引擎参数、缓存权重，并在指定端口启动推理服务。
这套方案处理的是模型与硬件组合带来的调优差异。英特尔指出，精度设置、核心间的计算任务分配、跨NUMA节点的内存布局，以及推理引擎使用的指令集，都取决于模型和底层处理器；更换模型或迁移到另一代芯片后，合适的参数也可能改变。微服务的做法是让用户选择模型，由容器选择相应设置。
首批版本基于vLLM引擎，支持BF16精度，可在Docker或Kubernetes 1.24及以上环境中运行。硬件要求为第四代、第五代或第六代英特尔至强处理器，建议配置32GB内存。
不同镜像对无法匹配配置的情况有不同处理方式：运行特定模型镜像时，如果主机未被识别，容器会在启动时报错，而不是以未调优状态继续运行；基础镜像则默认启用配置回退，在没有匹配的模型专用配置时，采用与硬件兼容的通用配置。
用户也可以通过命令行预检：detect-hardware用于查看检测到的硬件信息，dry-run --format json可用于查看将要执行的vLLM命令等信息。英特尔在新闻稿中将当前版本定位为“迈向英特尔硬件统一推理的第一步”；目前公布的硬件适用范围仍是上述三代至强处理器。