英特尔 Xeon 6 处理器搭配 Red Hat AI,可在满足 SLA 的情况下实现小型 LLM 推理

关键要点

  • 英特尔 Xeon 6767P 处理器搭配 Red Hat AI Inference,可使参数量高达 80 亿的小型语言模型满足 SLA 要求:TTFT 低于 3 秒,TPOT 低于 100 毫秒。
  • 2026 年 9 月 26 日至 29 日的测试表明,采用 w8a8 格式的 4 个量化模型在所记录的并发级别(32 至 672 个请求)下均满足 SLA。
  • 借助 oneDNN 优化内核和英特尔 AMX 指令,vLLM 可在现有企业基础设施上,为部门级搜索、文档提取和对话类工作负载提供高效的 CPU 推理。

Intel 和 Red Hat 展示了联合参考架构,使用 Intel Xeon 6 处理器搭配 Red Hat AI Inference,面向小语言模型(≤80 亿参数)的生产部署,实现交互式 SLA:首词元时间(TTFT)低于 3 秒,输出词元间隔时间(TPOT)低于 100 毫秒。2026 年 9 月 26 日至 29 日的测试表明,基于 CPU 的推理能够在现有企业基础设施上高效支持部门搜索、文档提取和多用户对话工作负载;与 GPU 加速方案相比,还能降低运维复杂度。

Intel Xeon 6767P 在小模型上的基准测试性能

Intel 使用两颗 Intel Xeon 6767P 处理器进行了测试,每颗均有 64 个核心,测试涵盖四种量化小语言模型:RedHatAI/Llama-3.2–1B-quantized.w8a8、RedHatAI/Qwen2.5–1.5B-quantized.w8a8、RedHatAI/gemma-3–4b-it-quantized.w8a8 和 RedHatAI/Meta-Llama-3.1–8B-Instruct-quantized.w8a8。评估采用四种合成词元形状,以隔离硬件性能:短交互任务(128/128、512/512 个词元)、预填充受限工作负载(2048/256)和解码受限操作(256/2048)。并发请求数从 32 到 672,以每次增加 32 个请求的步长进行测试;当 TTFT 达到 3600 毫秒或 TPOT 达到 150 毫秒时提前停止。系统运行 Red Hat AI Inference 3.5.0 镜像,该镜像基于 vLLM 0.24.0 版本构建;配置 256 GB DDR5–6400 内存,由 16 条 16 GB DIMM 组成(每个通道一条,每个插槽的 8 个通道全部填满),并运行 Ubuntu 24.04.4 LTS 和内核 6.8.0–142-generic。

均衡的词元形状(128/128 和 512/512)实现了最高词元吞吐量,同时 TTFT 和 TPOT 指标最低,展现了 Intel Xeon 6 处理器在高并发请求密度下,为低延迟路由、结构化分类和交互式对话端点提供服务并满足目标 SLA 的效率。解码密集型形状(256/2048)的表现与 512/512 配置接近;在自回归词元生成期间利用多通道 DDR5 内存带宽,可在较长序列上保持稳定生成,因此独立 CPU 服务能够胜任详细摘要和推理任务。预填充密集型形状(2048/256)由于要处理密集的 2,048 词元上下文且没有可复用前缀,在较低并发度下便触及 SLA 限值;不过,生产部署可通过 KV 缓存前缀缓存以及复用共享企业上下文的提示词,缓解这一开销。

Red Hat AI Inference 软件栈与硬件加速

该参考架构通过分层软件栈,将企业应用连接到 Intel Xeon 处理器硬件。vLLM Serving Engine 使用连续批处理动态调度请求,并通过 PagedAttention 管理主机 DRAM 中的 KV 缓存,从而最大限度提高在线请求密度。PyTorch 和 oneAPI Deep Neural Network Library(oneDNN)执行 vLLM CPU 后端;经过 oneDNN 优化的内核使用 Intel Advanced Matrix Extensions(Intel AMX)指令执行 INT8 和 BF16 运算,无需手动修改模型。该软件栈原生支持 w8a8(8 位权重和激活值)以及 w4a16 AWQ/GPTQ 量化格式。

硬件配置方案根据模型规模和并发度部署工作负载,而不是对所有工作负载都使用加速器。在线小型和中型语言模型服务(10 亿至 80 亿参数),包括部门助手以及中等并发度下的检索增强生成问答,使用 INT8 量化,并通过 Intel AMX 访问 DDR5 内存。共置的智能体式编排任务,如 API 调用、检索和 JSON 解析,则运行在 Intel Xeon 处理器核心上,以避免 GPU 在受主机限制的步骤中闲置。高并发下的大模型生成(300 亿至 700 亿以上参数)则受益于专用加速器,从而在基础设施中划分不同的计算需求。

企业部署优化与 BIOS 配置

Intel 对测试系统进行了特定 BIOS 设置以优化性能:BIOS 3A20.QCT202,微代码 0x1000405;启用 Sub-NUMA Clustering(SNC2,4 个 NUMA 节点)和 Latency Optimized Mode;启用 Intel Hyper-Threading Technology(256 个逻辑 CPU)和 Intel Turbo Boost Technology;将 Power Performance Tuning 设为 BIOS Controls EPB,并将 ENERGY_PERF_BIAS_CFG 设为 Performance。操作系统级设置包括将 Energy Performance Preference 设为 Performance(0),并将 Scaling Governor 设为 performance。部署 Docker 运行时,并使用 --cap-add=SYS_NICE 和 --security-opt seccomp=unconfined,以支持 NUMA 感知的 CPU 和内存绑定。

INT8 动态量化(w8a8)通过降低内存带宽压力提高词元生成吞吐量。根据 Red Hat 模型卡中的 OpenLLM v1 评估结果(2026 年 11 月查阅),Qwen 2.5 1.5B、Gemma 3 4B 和 Llama 3.1 8B 模型的精度损失极小。在标准 CPU 节点上运行 LLM 推理,或重新利用配备 GPU 的服务器中闲置的 CPU,可避免形成硬件孤岛,并让组织充分利用现有的安全、编排和监控基础设施。

关键事实

  • Intel Xeon 6767P 处理器(每个插槽 64 个核心)在使用 Red Hat AI Inference 3.5.0 和 vLLM 0.24.0 时,针对最高 80 亿参数的模型,在文档所列并发级别下达到目标 SLA(TTFT < 3 s,TPOT < 100 ms)
  • 测试于 2026 年 9 月 26 日至 29 日进行,系统配备 256 GB DDR5–6400 内存(共 16 条 16 GB DIMM,每个插槽 8 个通道全部填满)
  • 评估了四种量化小语言模型:Llama-3.2–1B、Qwen2.5–1.5B、Gemma-3–4B 和 Meta-Llama-3.1–8B-Instruct,均采用 w8a8 量化格式
  • 并发请求数从 32 到 672,以每次增加 32 个请求的步长进行测试;当 TTFT 达到 3600 ms 或 TPOT 达到 150 ms 时提前停止
  • 均衡的词元形状(128/128、512/512)实现了最高吞吐量;解码密集型形状(256/2048)在较长序列上保持稳定生成
  • vLLM 使用连续批处理、通过 PagedAttention 在主机 DRAM 中管理 KV 缓存,并使用经过 oneDNN 优化、搭配 Intel AMX 的内核执行 INT8/BF16 运算
  • 生产环境中的 RAG 和智能体式部署可通过 KV 缓存前缀缓存和复用共享企业上下文的提示词,抵消预填充开销
  • 可用的部署快速入门模板:适用于 Intel Xeon 6 处理器的 vLLM Recipes,以及适用于 Red Hat OpenShift AI 的 Intel Software Catalog Blueprints
  • 操作系统配置:Ubuntu 24.04.4 LTS,内核 6.8.0–142-generic;BIOS 3A20.QCT202,微代码 0x1000405;已启用 Sub-NUMA Clustering(SNC2,4 个 NUMA 节点)和 Latency Optimized Mode

常见问题

Intel Xeon 6 处理器推理的 SLA 目标是什么?哪些模型能够达到这些目标?

对于最高 80 亿参数的小语言模型,Intel Xeon 6 处理器达到了 TTFT 低于 3 秒、TPOT 低于 100 毫秒的目标 SLA。测试的四种模型——Llama-3.2–1B、Qwen2.5–1.5B、Gemma-3–4B 和 Meta-Llama-3.1–8B-Instruct——均量化为 w8a8 格式,并在基准测试结果中记录的并发级别下满足这些 SLA。均衡的词元形状(128/128 和 512/512 个词元)性能最高,而解码密集型工作负载(256/2048 个词元)则能在较长序列中保持稳定生成。

量化如何影响 Intel Xeon 处理器上的词元生成吞吐量?

INT8 动态量化(w8a8)通过降低系统内存带宽压力,提高词元生成吞吐量。Red Hat 模型卡中的 OpenLLM v1 评估结果(2026 年 11 月查阅)显示,测试的 Qwen 2.5 1.5B、Gemma 3 4B 和 Llama 3.1 8B 模型精度损失极小。vLLM 服务引擎搭配经过 oneDNN 优化的内核,原生支持 w8a8 和 w4a16 AWQ/GPTQ 量化格式,并使用 Intel Advanced Matrix Extensions(Intel AMX)指令执行线性层运算,无需手动修改模型。

在现有 CPU 基础设施上部署小语言模型推理有哪些建议步骤?

组织应使用 GuideLLM 或 vllm bench serve,通过 Red Hat AI Inference 在 Intel Xeon 6 处理器上测试目标工作负载的交互式 SLA,并对照关键企业延迟阈值(TTFT < 3.0 秒,TPOT < 100 毫秒)进行基准测试。对于生产部署,组织可以参考适用于 Intel Xeon 6 处理器的 vLLM Recipes 和适用于 Red Hat OpenShift AI 的 Intel Software Catalog Blueprints。这些资源为在基于 Intel Xeon 处理器的平台上使用 Red Hat OpenShift AI 部署 vLLM,提供企业快速入门模板和参考架构。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论