作者:李彬,隱藏趙雪楓,招數金融科技工程師,和性架構師社區特邀作者!參數
應用服務性能調優,調整是挖內核每個系統投產前都需要關注的問題,系統及軟件層面的調優方法均有大量文章介紹,但在所有招數使出后,是否就無潛可挖了?如果了解Linux內核運行特征,經過簡單的配置,仍存在不少可行的方案。本文將介紹的是基于Linux內核CPU親和性參數調整,榨取最后一絲性能優勢的方案。
一、背景知識
CPU是常規應用運行計算的核心,從性能角度至少需要了解物理CPU、邏輯CPU和超線程技術實現。
1. 物理CPU:機器上實際安裝的CPU個數。
2. 邏輯CPU:物理CPU會有多個邏輯運算核心,基于Intel的超線程技術(Hyper-Threading),可以在此基礎上形成更多核心算力。
3. 超線程技術(Hyper-Threading):就是利用特殊的硬件指令,把一個CPU核模擬成多個邏輯CPU,形成多核多線程CPU。
綜上所述,三者的邏輯關系如下:
邏輯CPU的數量=物理CPU的數量*CPU的核數*2(如果支持并開啟了超線程的話)
二、CPU的親和性參數原理
CPU的親和性是一種調度屬性,它可以將一個進程綁定到一個或者一組CPU上。CPU的親和性分為兩種:軟親和性和硬親和性。
1)軟CPU親和性就是進程要在指定的CPU上盡量長時間地運行而不被遷移到其他處理器上運行。Linux內核的自身特性,意味著進程通常不會在處理器之間頻繁遷移,以避免這種遷移對于計算能力的消耗,以達到最佳的平衡性。
2)Linux內核中還包含了一種硬CPU親和性的機制,這個機制讓開發人員可以實現硬CPU親和性。這意味著可以顯式指定進程在哪個(或哪些)處理器上運行。
在Linux內核中進程數據結構為task_struct,其中與親和性相關的是cpus_allowed位掩碼。這個位掩碼由n位組成,與系統中的n個邏輯CPU一一對應。如果為給定的進程設置了給定的位,那么這個進程就可以在相關的CPU上運行了。
以32顆邏輯CPU服務器為例:
0x00000001 處理器0號邏輯CPU可運行
0x00000003 處理器0-1號邏輯CPU可遷移運行
0xFFFFFFFF 處理器0-31號邏輯CPU均可遷移運行(Linux內核缺省狀態)
通常Linux內核都可以很好地對進程進行調度,在應該運行的地方運行進程,也就是說,在可用的處理器上運行并獲得很好的整體性能。Linux內核中包含了一些用來檢測CPU之間任務負載遷移的算法,可以啟用進程遷移來降低繁忙的處理器的壓力。
三、CPU的親和性設置
Linux提供了一些方法,可以讓用戶通過修改位掩碼來指定進程只能在某個(或者某些)CPU上運行。一般情況下,在應用程序中只需要使用缺省的調度器行為。然而,有時候我們可能會希望修改這些缺省行為以實現性能的優化。一般來說,我們要使用硬CPU親和性有3個原因:有大量的計算要做;應用程序復雜;正在運行時間敏感的、決定性的進程。
經過對各種方式的總結,以下通過兩個清晰的事例,對CPU親和性的配置方式進行說明。
1)在應用源碼中設置CPU親和性
硬CPU親和性的設置可以通過編程來實現,Linux內核提供了一些系統API,如:sched_set_affinity(),sched_get_affinity(),CPU_ZERO(),CPU_SET()等。一個簡單設置硬CPU親和性的例子如下:
#include
#include
#include
#include
int main(void)
{
int i, nrcpus;
cpu_set_t mask;
unsigned long bitmask = 0;
CPU_ZERO(&mask); //清空一個集合
CPU_SET(0, &mask); //將給定的CPU0加入集合
CPU_SET(2, &mask);//將給定的CPU2加入集合
if (sched_setaffinity(0,sizeof(cpu_set_t), &mask) == -1)
{
perror("sched_setaffinity");
exit(-1);
}
return 0;
}
2)通過命令方式設置CPU親和性
硬CPU親和性的設置還可以通過taskset命令來設置。taskset的命令格式是:
taskset [options] mask command [arg]…
taskset [options] –p[mask] pid
mask是CPU親和性
command是可執行程序
arg是command的參數
pid是進程ID
第一個命令是用來設置可執行程序的硬CPU親和性,第二個命令是用來設置已經運行的進程的硬CPU親和性。
寫在最后
最近在項目中,筆者碰到了系統CPU使用率不穩定的情況,分析了良久,才排查到是CPU親和性相關的問題。在壓力穩定,運算正常無外部瓶頸的情況下,形成一種無法解釋的CPU劇烈波動。如下圖所示:
如果后續碰到類似的問題,可以參考從調整CPU親和性方面考慮,按圖索驥,嘗試調整該參數,看是否有奇效。
特別推薦一個分享架構+算法的優質內容,還沒關注的小伙伴,可以長按關注一下:


長按訂閱更多精彩▼

如有收獲,點個在看,誠摯感謝
免責聲明:本文內容由21ic獲得授權后發布,版權歸原作者所有,本平臺僅提供信息存儲服務。文章僅代表作者個人觀點,不代表本平臺立場,如有問題,請聯系我們,謝謝!