一、引言

在当今数据密集型和计算密集型的企业应用环境下，物理机的性能表现至关重要。非统一内存访问（Non – Uniform Memory Access，NUMA）架构因其在多处理器系统中能够有效缓解内存访问瓶颈问题，已成为现代高端服务器的主流架构。然而，尽管 NUMA 架构提供了提升性能的潜力，但要充分发挥其优势，需要深入理解并精细优化内存性能。本文将通过实战案例，详细阐述基于 NUMA 架构的物理机内存性能优化的策略与方法。

二、NUMA 架构基础

2.1 NUMA 架构概述

传统的对称多处理器（SMP）架构中，所有处理器对内存的访问权限相同，通过共享总线连接内存。随着处理器核心数量的不断增加，共享总线逐渐成为内存访问的瓶颈，限制了系统的扩展性和性能。NUMA 架构应运而生，它将系统划分为多个节点（Node），每个节点包含一个或多个处理器、本地内存以及 I/O 设备。节点之间通过高速互连网络，如 AMD 的 HyperTransport 或 Intel 的 QuickPath Interconnect 进行通信。在这种架构下，处理器访问本地内存的速度明显快于访问其他节点的内存，即内存访问具有非一致性。

2.2 NUMA 架构内存访问特性

  1. 节点类型与访问速度差异：在 NUMA 架构中有本地节点、远端节点之分。对于某个节点中的所有 CPU，该节点即为本地节点，而其他非本地节点则为远端节点。CPU 访问不同类型节点内存的速度差异显著，访问本地节点内存速度最快，访问远端节点内存速度最慢，访问速度与节点距离紧密相关，距离越远速度越慢。例如，在一些高端商用服务器中，2013 年时两个 NUMA 节点的本地节点随机内存访问时延约为 100ns，而远端节点的内存访问时延则需增加 50% 。
  1. 任务调度与内存访问的关系：在 Linux 系统中，线程作为 CPU 调度的基本单位，对应 CPU 运行队列上的一个任务。内核通常会为每个任务选择一个相对空闲的 CPU 执行。但由于 CPU 负载动态变化，内核虽实现了 CPU 的 Load Balance 机制，会将任务迁移到相对空闲的 CPU 上，然而在 NUMA 架构下，这可能导致任务从一个节点的 CPU 迁移到另一个节点的 CPU，进而造成跨节点 CPU 访问。尽管 Linux 内核提供了 NUMA Balance 机制，试图周期性地迁移任务或者内存数据到本地节点，尽可能使任务访问本地节点内存，但仍无法完全避免远端内存的访问。

三、内存性能评估指标

3.1 内存访问延迟

内存访问延迟是指从 CPU 发出内存访问请求到数据返回 CPU 所经历的时间。在 NUMA 架构中，本地内存访问延迟远低于远端内存访问延迟。高内存访问延迟会严重影响应用程序的性能，尤其是对于那些对内存访问频繁且敏感的应用，如内存型数据库 Redis、大数据处理引擎 Spark 等。例如，Redis 作为内存型数据库，内存访问速度直接影响其性能表现，高延迟会导致数据读写操作缓慢，降低系统的响应速度。

3.2 内存带宽

内存带宽表示单位时间内内存与 CPU 之间能够传输的数据量，通常以 GB/s 为单位。在多处理器系统中，内存带宽对于维持系统的高性能至关重要。如果内存带宽不足，即使有足够的 CPU 计算能力，也会因为数据无法及时传输到 CPU 而导致系统性能瓶颈。例如，在大规模数据处理场景下，如数据分析型数据库 HANA 处理海量数据时，需要高内存带宽来快速传输数据，以满足 CPU 的计算需求，否则会极大地影响数据处理效率。

3.3 内存利用率

内存利用率反映了已使用内存占总内存的比例。过高的内存利用率可能导致系统频繁进行内存交换（swap）操作，将内存数据交换到磁盘，这会带来极高的性能开销。在 NUMA 架构下，还需要关注每个节点的内存利用率是否均衡，如果某些节点内存利用率过高，而其他节点利用率较低，可能会导致资源浪费和性能不均衡。例如，当一个节点的内存利用率达到 90% 以上，而其他节点仅为 30%，那么高利用率节点可能会因为频繁的内存交换而出现性能下降，而低利用率节点的内存资源却未得到充分利用。

四、内存性能优化策略

4.1 硬件配置优化

  1. 合理规划内存布局：在配置物理机内存时，应根据应用负载特点，将内存尽量均匀地分配到各个 NUMA 节点。例如，对于一个具有两个 NUMA 节点的服务器，如果运行的是一个分布式缓存应用，且该应用的工作负载预计在两个节点上较为均衡，那么应确保两个节点的内存容量相同或相近，避免某个节点内存资源短缺。同时，选择内存时应关注内存的频率、延迟等参数，尽量选用高频、低延迟的内存模块，以提高内存访问速度。例如，DDR4 3200MHz 的内存相较于 DDR4 2400MHz 的内存，在数据读写速度上有明显提升。
  1. 选择支持 NUMA 感知的硬件：在服务器硬件选型阶段，应选择对 NUMA 架构支持良好的 CPU、主板和内存控制器等硬件设备。一些高端服务器 CPU 能够更好地感知和管理 NUMA 架构，优化内存访问路径。例如，某些新型号的 Intel 至强处理器在硬件层面针对 NUMA 架构进行了优化，能够更智能地分配内存访问请求，减少跨节点访问。同时，主板的设计也会影响 NUMA 性能，支持 NUMA 感知的主板能够更有效地协调各个节点之间的通信和资源分配。

4.2 操作系统级优化

  1. NUMA 相关内核参数调整：Linux 内核提供了一系列与 NUMA 相关的参数，可以通过调整这些参数来优化内存性能。例如，通过调整/proc/sys/kernel/numa_balancing参数，可以控制内核的 NUMA 平衡机制。将其设置为1表示开启自动 NUMA 平衡，内核会周期性地迁移任务和内存数据，以尽量让任务访问本地内存；设置为0则关闭自动平衡，需要手动进行任务和内存的分配。对于一些对性能要求极高且负载稳定的应用，可以根据实际测试情况，合理设置该参数。另外，/proc/sys/vm/swappiness参数用于控制系统将内存数据交换到磁盘交换空间（swap）的倾向程度，取值范围为 0 – 100，将其设置为较低的值（如 10），可以减少内存交换操作，提高内存性能。
  1. 任务与内存的绑定策略：可以通过工具如numactl来手动绑定任务到特定的 NUMA 节点，确保任务在执行过程中主要访问本地内存。例如，对于一个内存密集型的数据分析任务，可以使用numactl –cpunodebind=0 –membind=0 <application>命令，将该任务绑定到 0 号 NUMA 节点的 CPU 和内存上，避免跨节点访问。在虚拟化环境中，也可以对虚拟机的 vCPU 和内存进行类似的绑定设置，如在 KVM 虚拟化环境中，可以通过修改虚拟机配置文件，设置<vcpu placement=’static’><numa cellid=’0′ cpus=’0 – 3’/></vcpu>来将虚拟机的 vCPU 绑定到 0 号 NUMA 节点的 0 – 3 号 CPU 上，同时设置<memoryBacking><numa><cell id=’0′ size=’4G’/></numa></memoryBacking>将 4GB 内存绑定到 0 号 NUMA 节点，以提高虚拟机的内存访问性能。

4.3 应用程序级优化

  1. 优化应用程序内存访问模式：应用程序开发者可以通过优化代码，使应用程序的内存访问模式更符合 NUMA 架构特点。例如，对于大规模数组的访问，可以按照 NUMA 节点的划分，将数组分块存储在不同节点的内存中，并且在访问数组元素时，尽量让同一节点的 CPU 访问该节点上存储的数组块。以 C 语言代码为例，假设有一个大型数组int largeArray[1000000]，可以将其划分为两个部分，分别存储在两个 NUMA 节点的内存中，然后通过指针运算，让运行在不同节点的 CPU 分别访问各自节点上存储的数组部分：
// 假设在0号节点上访问前半部分数组
int *node0Array = largeArray;
for (int i = 0; i < 500000; i++) {
// 对node0Array[i]进行操作
}
// 假设在1号节点上访问后半部分数组
int *node1Array = largeArray + 500000;
for (int i = 0; i < 500000; i++) {
// 对node1Array[i]进行操作
}
  1. 利用应用程序特定的 NUMA 优化选项：一些应用程序本身提供了针对 NUMA 架构的优化选项。例如，某些数据库管理系统（如 Oracle、MySQL 等）可以通过配置参数，让数据库进程优先使用本地内存，并且优化查询执行计划，减少跨节点的数据访问。在 Oracle 数据库中，可以通过设置PARALLEL_MAX_PERCENT参数，控制并行执行的程度，避免过多的跨节点数据传输；同时，设置LOCAL_LISTENER参数，指定本地节点的监听器，提高本地节点上的数据库操作效率。

五、实战案例分析

5.1 案例背景

某互联网公司的大数据分析平台，基于物理机搭建，采用 NUMA 架构的服务器。平台主要运行大数据处理任务，包括数据清洗、数据分析和数据挖掘等，使用的工具和框架有 Hadoop、Spark 等。在平台运行初期，发现数据处理任务的执行效率较低，内存性能瓶颈明显，表现为任务执行时间长，内存访问延迟高。

5.2 性能瓶颈分析

通过系统性能监测工具（如perf、sar等）对服务器进行分析，发现存在以下问题：
  1. 内存访问延迟高：大量的内存访问请求跨节点进行，导致平均内存访问延迟达到 200ns 以上，远高于本地内存访问的理想延迟（约 100ns）。这主要是因为任务调度不合理，许多任务在执行过程中频繁在不同节点的 CPU 之间迁移，引发大量跨节点内存访问。
  1. 内存带宽利用率不均衡：部分节点的内存带宽利用率达到 80% 以上，而其他节点仅为 30% 左右。这是由于内存分配不合理，某些节点承担了过多的内存访问负载，而其他节点内存资源未充分利用。
  1. 内存利用率过高且不均衡：整体内存利用率达到 90% 以上，且部分节点内存利用率接近 100%，频繁出现内存交换操作，进一步降低了系统性能。

5.3 优化措施实施

  1. 硬件配置调整：重新规划内存布局，将内存均匀分配到各个 NUMA 节点，确保每个节点的内存容量相同。同时，升级内存模块，将原来的 DDR4 2666MHz 内存更换为 DDR4 3200MHz 内存，提高内存访问速度。
  1. 操作系统级优化：
    • 调整内核参数，将/proc/sys/kernel/numa_balancing设置为1，开启自动 NUMA 平衡机制；将/proc/sys/vm/swappiness设置为10，减少内存交换操作。
    • 使用numactl工具，根据任务的特点，手动绑定任务到特定的 NUMA 节点。例如，对于数据清洗任务，由于其数据处理量较大且相对独立，将其绑定到一个节点上执行，避免跨节点访问。
  1. 应用程序级优化：
    • 对 Spark 框架进行优化，调整任务调度策略，使其更符合 NUMA 架构。通过配置spark.task.cpus参数，合理分配每个任务使用的 CPU 核心数，并且设置spark.locality.wait参数，控制任务等待本地数据的时间，尽量让任务在本地节点上获取数据进行处理。
    • 优化数据处理算法，将大数据集按照 NUMA 节点进行分块存储和处理。例如，在数据清洗阶段，将数据按照节点划分为多个子集，每个节点上的任务只处理本地节点存储的数据子集，减少跨节点数据传输。

5.4 优化效果评估

经过优化后，再次使用性能监测工具对系统进行评估，取得了显著的效果：
  1. 内存访问延迟降低：平均内存访问延迟降低至 120ns 左右，本地内存访问比例大幅提高，跨节点内存访问明显减少，有效提升了数据处理速度。
  1. 内存带宽利用率均衡：各个节点的内存带宽利用率均维持在 60% – 70% 之间，资源得到更合理的利用，系统整体性能得到提升。
  1. 内存利用率改善：整体内存利用率降低至 75% 左右，且各个节点的内存利用率较为均衡，内存交换操作大幅减少，系统稳定性增强。
  1. 任务执行效率提升：大数据分析任务的平均执行时间缩短了 30% 以上，数据处理效率显著提高，满足了公司业务对大数据分析平台性能的要求。

六、结论

基于 NUMA 架构的物理机内存性能优化是一个复杂而系统的工程，需要从硬件配置、操作系统和应用程序多个层面进行综合优化。通过深入理解 NUMA 架构的内存访问特性，合理调整硬件配置，精细优化操作系统内核参数和任务调度策略，以及对应用程序进行针对性的代码优化和参数配置，可以有效提升内存性能，充分发挥 NUMA 架构的优势，满足数据密集型和计算密集型应用对物理机性能的严苛要求。在实际应用中，应根据不同的业务场景和系统特点，灵活运用各种优化策略，并通过性能监测工具不断评估和调整优化措施，以实现物理机内存性能的最大化。
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。