Linux Cgroup 入門教程:cpuset

Linux Cgroup 入門教程:cpuset
這是 Cgroup 系列的第四篇,往期回顧:

Linux Cgroup 入門教程:基本概念
Linux Cgroup 入門教程:CPU
Linux Cgroup 入門教程:內存
通過上篇文章的學習,我們學會了如何查看當前 cgroup 的信息,如何通過操作 /sys/fs/cgroup 目錄來動態設置 cgroup,也學會了如何設置 CPU shares 和 CPU quota 來控制 slice 內部以及不同 slice 之間的 CPU 使用時間。本文將繼續探討對 CPU 使用時間的限制。

對於某些 CPU 密集型的程序來說,不僅需要獲取更多的 CPU 使用時間,還要減少工作負載在節流時引起的上下文切換。現在的多核系統中每個核心都有自己的緩存,如果頻繁的調度進程在不同的核心上執行勢必會帶來緩存失效等開銷。那麼有沒有方法針對 CPU 核心進行隔離呢?準確地說是把運行的進程綁定到指定的核心上運行。雖然對於操作系統來說,所有程序生而平等,但有些程序比其他程序更平等。

對於那些更平等的程序來說,我們需要爲它分配更多的 CPU 資源,畢竟人都是很偏心的。廢話少說,我們來看看如何使用 cgroup 限制進程使用指定的 CPU 核心。

  1. 查看 CPU 配置
    CPU 核心的編號一般是從 0 開始的,4 個核心的編號範圍是 0-3。我們可以通過查看 /proc/cpuinfo 的內容來確定 CPU 的某些信息:

$ cat /proc/cpuinfo
...
processor : 3
vendor_id : GenuineIntel
cpu family : 6
model : 26
model name : Intel(R) Xeon(R) CPU X5650 @ 2.67GHz
stepping : 4
microcode : 0x1f
cpu MHz : 2666.761
cache size : 12288 KB
physical id : 6
siblings : 1
core id : 0
cpu cores : 1
apicid : 6
initial apicid : 6
fpu : yes
fpu_exception : yes
cpuid level : 11
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx rdtscp lm constant_tsc arch_perfmon nopl xtopology tsc_reliable nonstop_tsc eagerfpu pni ssse3 cx16 sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer hypervisor lahf_lm ssbd ibrs ibpb stibp tsc_adjust arat spec_ctrl intel_stibp flush_l1d arch_capabilities
bogomips : 5333.52
clflush size : 64
cache_alignment : 64
address sizes : 43 bits physical, 48 bits virtual
processor : 表示核心的編號,但這不是物理 CPU 的核心,更確切地可以稱之爲**邏輯覈編號。
physical id : 表示當前邏輯核所在的物理 CPU 的核心,也是從 0 開始編號,這裏表示這個邏輯核在第 7 個 物理 CPU 上。
core id : 如果這個值大於 0,你就要注意了,你的服務器可能開啓了超線程。如果啓用了超線程,每個物理 CPU 核心會模擬出 2 個線程,也叫邏輯核(和上面的邏輯核是兩回事,只是名字相同而已)。如果你想確認服務器有沒有開啓超線程,可以通過下面的命令查看:
$ cat /proc/cpuinfo | grep -e "core id" -e "physical id"

physical id : 0
core id : 0
physical id : 2
core id : 0
physical id : 4
core id : 0
physical id : 6
core id : 0
如果 physical id 和 core id 皆相同的 processor 出現了兩次,就可以斷定開啓了超線程。顯然我的服務器沒有開啓。

  1. NUMA 架構
    這裏需要涉及到一個概念叫 NUMA(Non-uniform memory access),即非統一內存訪問架構。如果主機板上插有多塊 CPU,那麼就是 NUMA 架構。每塊 CPU 獨佔一塊麪積,一般都有獨立風扇。

一個 NUMA 節點包含了直連在該區域的 CPU、內存等硬件設備,通信總線一般是 PCI-E。由此也引入了 CPU 親和性的概念,即 CPU 訪問同一個 NUMA 節點上的內存的速度大於訪問另一個節點的。

可以通過下面的命令查看本機的 NUMA 架構:

$ numactl --hardware

available: 1 nodes (0)
node 0 cpus: 0 1 2 3
node 0 size: 2047 MB
node 0 free: 1335 MB
node distances:
node 0
0: 10
可以看出該服務器並沒有使用 NUMA 架構,總共只有一個 NUMA 節點,即只有一塊 CPU,4 個邏輯核心均在此 CPU 上。

  1. isolcpus
    Linux 最重要的職責之一就是調度進程,而進程只是程序運行過程的一種抽象,它會執行一系列指令,計算機會按照這些指令來完成實際工作。從硬件的角度來看,真正執行這些指令的是中央處理單元,即 CPU。默認情況下,進程調度器可能會將進程調度到任何一個 CPU 核心上,因爲它要根據負載來均衡計算資源的分配。

爲了增加實驗的明顯效果,可以隔離某些邏輯核心,讓系統默認情況下永遠不會使用這些核心,除非我指定某些進程使用這些核心。要想做到這一點,就要使用到內核參數 isolcpus 了,例如:如果想讓系統默認情況下不使用邏輯核心 2,3 和 4,可以將以下內容添加到內核參數列表中:

isolcpus=1,2,3

或者

isolcpus=1-3
對於 CnetOS 7 來說,可以直接修改 /etc/default/grub:

$ cat /etc/default/grub

GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=rhel/root rd.lvm.lv=rhel/swap rhgb quiet isolcpus=1,2,3"
GRUB_DISABLE_RECOVERY="true"
然後重新構建 grub.conf:

$ grub2-mkconfig -o /boot/grub2/grub.cfg
重啓系統之後,系統將不再使用邏輯核心 2,3 和 4,只會使用核心 1。找個程序把 CPU 跑滿(上篇文章用的程序),使用命令 top 查看 CPU 的使用狀況:

執行 top 命令後,在列表頁按數字 1 鍵,就可以看到所有 CPU 了。

可以看到系統只使用了核心 1,下面我們來看看如何將程序綁到特定的 CPU 核心上。

  1. 創建 cgroup
    將程序綁到指定的核心其實很簡單,只需設置好 cpuset 控制器就行了。 systemctl 可以管理受其控制資源的 cgroup 控制器,但只能管理有限的控制器(CPU、內存和 BlockIO),不能管理 cpuset 控制器。雖然 systemd 不支持 cpuset,但是相信以後會支持的,另外,現在有一個略顯笨拙,但是可以實現同樣的目標的方法,後面會介紹。

cgroup 相關的所有操作都是基於內核中的 cgroup virtual filesystem,使用 cgroup 很簡單,掛載這個文件系統就可以了。文件系統默認情況下都是掛載到 /sys/fs/cgroup 目錄下,查看一下這個目錄:

$ ll /sys/fs/cgroup

總用量 0
drwxr-xr-x 2 root root 0 3月 28 2020 blkio
lrwxrwxrwx 1 root root 11 3月 28 2020 cpu -> cpu,cpuacct
lrwxrwxrwx 1 root root 11 3月 28 2020 cpuacct -> cpu,cpuacct
drwxr-xr-x 2 root root 0 3月 28 2020 cpu,cpuacct
drwxr-xr-x 2 root root 0 3月 28 2020 cpuset
drwxr-xr-x 4 root root 0 3月 28 2020 devices
drwxr-xr-x 2 root root 0 3月 28 2020 freezer
drwxr-xr-x 2 root root 0 3月 28 2020 hugetlb
drwxr-xr-x 2 root root 0 3月 28 2020 memory
lrwxrwxrwx 1 root root 16 3月 28 2020 net_cls -> net_cls,net_prio
drwxr-xr-x 2 root root 0 3月 28 2020 net_cls,net_prio
lrwxrwxrwx 1 root root 16 3月 28 2020 net_prio -> net_cls,net_prio
drwxr-xr-x 2 root root 0 3月 28 2020 perf_event
drwxr-xr-x 2 root root 0 3月 28 2020 pids
drwxr-xr-x 4 root root 0 3月 28 2020 systemd
可以看到 cpuset 控制器已經默認被創建並掛載好了。看一下 cpuset 目錄下有什麼:

$ ll /sys/fs/cgroup/cpuset

總用量 0
-rw-r--r-- 1 root root 0 3月 28 2020 cgroup.clone_children
--w--w--w- 1 root root 0 3月 28 2020 cgroup.event_control
-rw-r--r-- 1 root root 0 3月 28 2020 cgroup.procs
-r--r--r-- 1 root root 0 3月 28 2020 cgroup.sane_behavior
-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.cpu_exclusive
-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.cpus
-r--r--r-- 1 root root 0 3月 28 2020 cpuset.effective_cpus
-r--r--r-- 1 root root 0 3月 28 2020 cpuset.effective_mems
-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.mem_exclusive
-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.mem_hardwall
-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.memory_migrate
-r--r--r-- 1 root root 0 3月 28 2020 cpuset.memory_pressure
-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.memory_pressure_enabled
-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.memory_spread_page
-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.memory_spread_slab
-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.mems
-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.sched_load_balance
-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.sched_relax_domain_level
-rw-r--r-- 1 root root 0 3月 28 2020 notify_on_release
-rw-r--r-- 1 root root 0 3月 28 2020 release_agent
-rw-r--r-- 1 root root 0 3月 28 2020 tasks
該目錄下只有默認的配置,沒有任何 cgroup 子系統。接下來我們來創建 cpuset 子系統並設置相應的綁核參數:

$ mkdir -p /sys/fs/cgroup/cpuset/test
$ echo "3" > /sys/fs/cgroup/cpuset/test/cpuset.cpus
$ echo "0" > /sys/fs/cgroup/cpuset/test/cpuset.mems
首先創建了一個 cpuset 子系統叫 test,然後將核心 4 綁到該子系統,即 cpu3。對於 cpuset.mems 參數而言,每個內存節點和 NUMA 節點一一對應。如果進程的內存需求量較大,可以把所有的 NUMA 節點都配置進去。這裏就用到了 NUMA 的概念。出於性能的考慮,配置的邏輯核和內存節點一般屬於同一個 NUMA 節點,可用 numactl --hardware 命令獲知它們的映射關係。很顯然,我的主機沒有采用 NUMA 架構,只需將其設爲節點 0 就好了。

查看 test 目錄:

$ cd /sys/fs/cgroup/cpuset/test
$ ll
總用量 0
-rw-rw-r-- 1 root root 0 3月 28 17:07 cgroup.clone_children
--w--w---- 1 root root 0 3月 28 17:07 cgroup.event_control
-rw-rw-r-- 1 root root 0 3月 28 17:07 cgroup.procs
-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.cpu_exclusive
-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.cpus
-r--r--r-- 1 root root 0 3月 28 17:07 cpuset.effective_cpus
-r--r--r-- 1 root root 0 3月 28 17:07 cpuset.effective_mems
-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.mem_exclusive
-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.mem_hardwall
-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.memory_migrate
-r--r--r-- 1 root root 0 3月 28 17:07 cpuset.memory_pressure
-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.memory_spread_page
-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.memory_spread_slab
-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.mems
-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.sched_load_balance
-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.sched_relax_domain_level
-rw-rw-r-- 1 root root 0 3月 28 17:07 notify_on_release
-rw-rw-r-- 1 root root 0 3月 28 17:07 tasks

$ cat cpuset.cpus
3

$ cat cpuset.mems
0
目前 tasks 文件是空的,也就是說,還沒有進程運行在該 cpuset 子系統上。需要想辦法讓指定的進程運行在該子系統上,有兩種方法:

將已經運行的進程的 PID 寫入 tasks 文件中;
使用 systemd 創建一個守護進程,將 cgroup 的設置寫入 service 文件中(本質上和方法 1 是一樣的)。
先來看看方法 1,首先運行一個程序:

$ nohup sha1sum /dev/zero &
[1] 3767
然後將 PID 寫入 test 目錄的 tasks 中:

$ echo "3767" > /sys/fs/cgroup/cpuset/test/tasks
查看 CPU 使用情況:

可以看到綁核生效了,PID 爲 3767 的進程被調度到了 cpu3 上。

下面再來看看方法 2,雖然目前 systemd 不支持使用 cpuset 去指定一個 Service 的 CPU,但我們還是有一個變相的方法,Service 文件內容如下:

$ cat /etc/systemd/system/foo.service

[Unit]
Description=foo
After=syslog.target network.target auditd.service

[Service]
ExecStartPre=/usr/bin/mkdir -p /sys/fs/cgroup/cpuset/testset
ExecStartPre=/bin/bash -c '/usr/bin/echo "2" > /sys/fs/cgroup/cpuset/testset/cpuset.cpus'
ExecStartPre=/bin/bash -c '/usr/bin/echo "0" > /sys/fs/cgroup/cpuset/testset/cpuset.mems'
ExecStart=/bin/bash -c "/usr/bin/sha1sum /dev/zero"
ExecStartPost=/bin/bash -c '/usr/bin/echo $MAINPID > /sys/fs/cgroup/cpuset/testset/tasks'
ExecStopPost=/usr/bin/rmdir /sys/fs/cgroup/cpuset/testset
Restart=on-failure

[Install]
WantedBy=multi-user.target
啓動該服務,然後查看 CPU 使用情況:

該服務中的進程確實被調度到了 cpu2 上。

  1. 回到 Docker
    最後我們回到 Docker,Docker 實際上就是將系統底層實現的 cgroup 、 namespace 等技術集成在一個使用鏡像方式發佈的工具中,於是形成了 Docker,這個想必大家都知道了,我就不展開了。對於 Docker 來說,有沒有辦法讓容器始終在一個或某幾個 CPU 上運行呢?其實還是很簡單的,只需要利用 --cpuset-cpus 參數就可以做到!

下面就來演示一下,指定運行容器的 CPU 核心編號爲 1:

🐳 → docker run -d --name stress --cpuset-cpus="1" progrium/stress -c 4
查看主機 CPU 的負載:

只有 Cpu1 達到了 100%,其它的 CPU 並未被容器使用。

如果你看過該系列的第一篇文章,應該知道,在新的使用 systemd 實現 init 的系統中(比如 ConetOS 7),系統默認創建了 3 個頂級 slice:System, User 和 Machine,其中 machine.slice 是所有虛擬機和 Linux 容器的默認位置,而 Docker 其實是 machine.slice 的一個變種,你可以把它當成 machine.slice 。

如果系統中運行的是 Kubernetes,machine.slice 就變成了 kubepods:

爲了便於管理 cgroup,systemd 會爲每一個 slice 創建一個子系統,比如 docker 子系統:

然後再根據容器的設置,將其放入相應的控制器下面,這裏我們關心的是 cpuset 控制器,看看它的目錄下有啥:

查看 docker 目錄:

可以看到 Docker 爲每個容器創建了一個子目錄,7766.. 對應的就是之前我們創建的容器:

🐳 → docker ps|grep stress

7766580dd0d7 progrium/stress "/usr/bin/stress --v…" 36 minutes ago Up 36 minutes stress
我們來檢驗一下該目錄下的配置:

$ cd /sys/fs/cgroup/cpuset/docker/7766580dd0d7d9728f3b603ed470b04d0cac1dd923f7a142fec614b12a4ba3be

$ cat cpuset.cpus
1

$ cat cpuset.mems
0

$ cat tasks
6536
6562
6563
6564
6565

$ ps -ef|grep stress
root 6536 6520 0 10:08 ? 00:00:00 /usr/bin/stress --verbose -c 4
root 6562 6536 24 10:08 ? 00:09:50 /usr/bin/stress --verbose -c 4
root 6563 6536 24 10:08 ? 00:09:50 /usr/bin/stress --verbose -c 4
root 6564 6536 24 10:08 ? 00:09:50 /usr/bin/stress --verbose -c 4
root 6565 6536 24 10:08 ? 00:09:50 /usr/bin/stress --verbose -c 4
當然,你也可以將容器綁到多個 CPU 核心上運行,這裏我就不贅述了。下篇文章將會介紹如何通過 cgroup 來限制 BlockIO。

原文地址https://www.cnblogs.com/ryanyangcs/p/12604382.html

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章