Linux性能挖潛的隱藏招數:內核CPU親和性參數調整

作者:李彬,趙雪楓,金融科技工程師,架構師社區特邀作者!

應用服務性能調優,是每個系統投產前都需要關注的問題,系統及軟件層面的調優方法均有大量文章介紹,但在所有招數使出後,是否就無潛可挖了?如果瞭解Linux內核運行特徵,經過簡單的配置,仍存在不少可行的方案。本文將介紹的是基於Linux內核CPU親和性參數調整,榨取最後一絲性能優勢的方案。 

一、背景知識

CPU是常規應用運行計算的核心,從性能角度至少需要了解物理CPU、邏輯CPU和超線程技術實現。

1. 物理CPU:機器上實際安裝的CPU個數。

2. 邏輯CPU:物理CPU會有多個邏輯運算核心,基於Intel的超線程技術(Hyper-Threading),可以在此基礎上形成更多核心算力。

3. 超線程技術(Hyper-Threading):就是利用特殊的硬件指令,把一個CPU核模擬成多個邏輯CPU,形成多核多線程CPU。

綜上所述,三者的邏輯關係如下:

邏輯CPU的數量=物理CPU的數量*CPU的核數*2(如果支持並開啓了超線程的話)

 

二、CPU的親和性參數原理

CPU的親和性是一種調度屬性,它可以將一個進程綁定到一個或者一組CPU上。CPU的親和性分爲兩種:軟親和性和硬親和性。

1)軟CPU親和性就是進程要在指定的CPU上儘量長時間地運行而不被遷移到其他處理器上運行。Linux內核的自身特性,意味着進程通常不會在處理器之間頻繁遷移,以避免這種遷移對於計算能力的消耗,以達到最佳的平衡性。

2)Linux內核中還包含了一種硬CPU親和性的機制,這個機制讓開發人員可以實現硬CPU親和性。這意味着可以顯式指定進程在哪個(或哪些)處理器上運行。

在Linux內核中進程數據結構爲task_struct,其中與親和性相關的是cpus_allowed位掩碼。這個位掩碼由n位組成,與系統中的n個邏輯CPU一一對應。如果爲給定的進程設置了給定的位,那麼這個進程就可以在相關的CPU上運行了。

以32顆邏輯CPU服務器爲例:

0x00000001 處理器0號邏輯CPU可運行
0x00000003 處理器0-1號邏輯CPU可遷移運行
0xFFFFFFFF 處理器0-31號邏輯CPU均可遷移運行(Linux內核缺省狀態)
 

通常Linux內核都可以很好地對進程進行調度,在應該運行的地方運行進程,也就是說,在可用的處理器上運行並獲得很好的整體性能。Linux內核中包含了一些用來檢測CPU之間任務負載遷移的算法,可以啓用進程遷移來降低繁忙的處理器的壓力。

 

三、CPU的親和性設置

Linux提供了一些方法,可以讓用戶通過修改位掩碼來指定進程只能在某個(或者某些)CPU上運行。一般情況下,在應用程序中只需要使用缺省的調度器行爲。然而,有時候我們可能會希望修改這些缺省行爲以實現性能的優化。一般來說,我們要使用硬CPU親和性有3個原因:有大量的計算要做;應用程序複雜;正在運行時間敏感的、決定性的進程。

經過對各種方式的總結,以下通過兩個清晰的事例,對CPU親和性的配置方式進行說明。

1)在應用源碼中設置CPU親和性

硬CPU親和性的設置可以通過編程來實現,Linux內核提供了一些系統API,如:sched_set_affinity(),sched_get_affinity(),CPU_ZERO(),CPU_SET()等。一個簡單設置硬CPU親和性的例子如下:

#include <sched.h>

#include <unistd.h>

#include <stdlib.h>

#include <stdio.h>

 

int main(void)

{

int i, nrcpus;

cpu_set_t mask;

unsigned long bitmask = 0;

CPU_ZERO(&mask); //清空一個集合

CPU_SET(0, &mask); //將給定的CPU0加入集合

CPU_SET(2, &mask);//將給定的CPU2加入集合

if (sched_setaffinity(0,sizeof(cpu_set_t), &mask) == -1)

{

perror("sched_setaffinity");

exit(-1);

}

return 0;

}

 

2)通過命令方式設置CPU親和性

硬CPU親和性的設置還可以通過taskset命令來設置。taskset的命令格式是:

taskset [options] mask command [arg]…

taskset [options] –p[mask] pid

 

mask是CPU親和性

command是可執行程序

arg是command的參數

pid是進程ID

 

第一個命令是用來設置可執行程序的硬CPU親和性,第二個命令是用來設置已經運行的進程的硬CPU親和性。

 

寫在最後

最近在項目中,筆者碰到了系統CPU使用率不穩定的情況,分析了良久,才排查到是CPU親和性相關的問題。在壓力穩定,運算正常無外部瓶頸的情況下,形成一種無法解釋的CPU劇烈波動。如下圖所示:

如果後續碰到類似的問題,可以參考從調整CPU親和性方面考慮,按圖索驥,嘗試調整該參數,看是否有奇效。

如有收穫,點個在看,誠摯感謝
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章