北京
10月15日消息，英特尔14日宣布推出 Intel Inference Microservices 服务，这是一套面向大语言模型推理的容器化微服务方案，目标是让企业在已有的至强处理器上直接获得经过调优的模型推理能力，无需再花费数天时间进行手动硬件优化。
在该模式下，每个微服务都是一个独立容器，通过 OpenAI 兼容 API 对外提供单个模型的服务，并在启动时自动检测所在的英特尔处理器型号，应用英特尔针对该模型和该硬件预先验证过的配置参数。
英特尔指出，让大语言模型给出回复并不困难，难的是在既有硬件上稳定、高质量地重复这一过程。精度设置、计算任务在核心之间的分配方式、内存跨 NUMA 节点的布局，以及推理引擎使用哪些指令集，都取决于模型本身和底层处理器。
更换模型，合适的参数就变了；迁移到另一代芯片，参数又需要重新调整。英特尔推理微服务旨在将这一调优过程封装在容器内部 —— 用户选择模型，容器负责选择设置。首批版本基于 vLLM 引擎，支持 BF16 精度，可在 Docker 或 Kubernetes 1.24 及以上环境中运行，硬件要求为第四代、第五代或第六代英特尔至强处理器，建议配置 32GB 内存。
启动时，容器会检查主机的处理器代数、分配到的核心数量、NUMA 节点数量以及处理器内置的加速器。
英特尔特别强调了最后一项：近期至强核心内置了专门用于推理计算的引擎，包括用于矩阵乘法的英特尔高级矩阵扩展和用于周边计算的 AVX-512、AVX2 及 VNNI 向量扩展。这些加速器已经存在于用户现有的芯片中，但只有推理引擎知道它们存在并正确配置时才能发挥作用。
检测完成后，容器会选择经过验证的配置档案，解析调优后的引擎参数，缓存权重，并在指定端口启动推理服务。
对于运行特定模型镜像的用户，如果主机未被识别，容器会在启动时报错，而不是静默地以未调优状态运行。基础镜像则默认启用配置回退，在无匹配模型专用配置时，会采用与硬件兼容的通用配置。用户还可以通过命令行查看容器检测到的硬件信息和将要执行的 vLLM 命令，例如运行 detect-hardware 或 dry-run --format json 进行预检。
这并非英特尔首次涉足推理微服务领域。今年 9 月，英特尔开发者页面已介绍过 Intel AI for Enterprise Inference，一套面向至强处理器的开源 LLM 服务栈，同样基于 vLLM 架构。此次发布的推理微服务可以视为将这一能力进一步产品化、容器化，并纳入统一的推理接口蓝图之中。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
