文章目录
doker通过cgroup来控制容器使用的资源配额，包括CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制
Cgroup概述
Cgroup是control groups的缩写，是linux内核提供的一种可以限制、记录、隔离进程组所使用的物理资源的机制
物理资源如CPU、内存、磁盘IO等等
Cgroup被LXC、docker等很多项目用于实现进程资源控制。cgroup本身是提供将进程进行分组化管理的功能和接口的基础结构，IO或内存的分配控制等具体的资源管理是通过该方式
这些具体的资源管理功能成为cgroup子系统，有以下几大子系统实现：
blkio：设置限制每个块设备的输入输出控制，例如磁盘、光盘及USB等
CPU：使用调度程序为cgroup任务提供CPU的访问
cpuacct：产生cgroup任务的cpu资源报告
cpuset：如果是多核心的cpu，这个子系统会为cgroup任务分配单独的cpu和内存
devices：允许或拒绝cgroup任务对设备的访问
freezer：暂停和恢复cgroup任务
memory：设置每个cgroup的内存限制以及产生内存资源报告
net_cls：标记每个网络包以供cgroup方便使用
ns：命名空间子系统
perf_event：增加了对每个group的监测跟踪的能力，可以监测属于某个特定的group的所有线程以及运行在特定CPU的线上
下面开始利用stress压力测试工具来测试cpu和内存使用状况
一： docker资源控制——CPU
CPU使用率控制
1.1 查看当前容器CPU限制状态
cat /sys/fs/cgroup/cpu/docker/容器ID/cpu.cfs_quota_us
-1代表cpu资源使用是不受限制的，上限是硬件
[root@kibana ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
dd5782cde89d centos:7 "/bin/bash" 48 minutes ago Up 48 minutes test3
de37ff32e2c4 centos:7 "/bin/bash" 2 hours ago Up 2 hours test1
[root@kibana docker]# cd /sys/
[root@kibana sys]# ls
block bus class dev devices firmware fs hypervisor kernel module power
[root@kibana sys]# cd fs
[root@kibana fs]# ls
cgroup pstore selinux xfs
[root@kibana fs]# cd cgroup/
[root@kibana cgroup]# ls
blkio cpu cpuacct cpu,cpuacct cpuset devices freezer hugetlb memory net_cls net_cls,net_prio net_prio perf_event pids systemd
[root@kibana cgroup]# ll cpu
lrwxrwxrwx. 1 root root 11 Apr 16 09:27 cpu -> cpu,cpuacct
[root@kibana cgroup]# cd cpu
[root@kibana cpu]# ls
cgroup.clone_children cgroup.sane_behavior cpuacct.usage_percpu cpu.rt_period_us cpu.stat notify_on_release tasks
cgroup.event_control cpuacct.stat cpu.cfs_period_us cpu.rt_runtime_us docker release_agent user.slice
cgroup.procs cpuacct.usage cpu.cfs_quota_us cpu.shares machine.slice system.slice
[root@kibana cpu]# cat cpu.cfs_quota_us
-1
[root@kibana cpu]# cd docker/
[root@kibana docker]# ls
cgroup.clone_children cpuacct.usage cpu.rt_period_us dd5782cde89d7084de43e8c343f6cbbe99e5b12226e037b7e5529a35d05bce55
cgroup.event_control cpuacct.usage_percpu cpu.rt_runtime_us de37ff32e2c45188a4fd5d87c20dbbb0db8eeea13583e515b89a90a66ad3e7b1
cgroup.procs cpu.cfs_period_us cpu.shares notify_on_release
cpuacct.stat cpu.cfs_quota_us cpu.stat tasks
[root@kibana docker]# cat cpu.cfs_quota_us
-1
[root@kibana docker]# cd dd5782cde89d7084de43e8c343f6cbbe99e5b12226e037b7e5529a35d05bce55/
[root@kibana dd5782cde89d7084de43e8c343f6cbbe99e5b12226e037b7e5529a35d05bce55]# ls
cgroup.clone_children cgroup.procs cpuacct.usage cpu.cfs_period_us cpu.rt_period_us cpu.shares notify_on_release
cgroup.event_control cpuacct.stat cpuacct.usage_percpu cpu.cfs_quota_us cpu.rt_runtime_us cpu.stat tasks
[root@kibana dd5782cde89d7084de43e8c343f6cbbe99e5b12226e037b7e5529a35d05bce55]# cat cpu.cfs_quota_us
-1
备注：
cpu周期 1s 100000
按照cpu时间周期分配
cpu在一个时刻，只能给一个进程占用
cpu的衡量单位是秒
1.2 对容器cpu的限制方法
以20%为例
1.2.1 创建时指定限制
[root@kibana ~]# docker run -itd --name tese13 --net net172.18/16 --ip 172.18.0.11 --cpu-quota 20000 centos:7 /bin/bash
7bee273b367147dd9ef7946229ad316f12b095be268ef2c1e8a5078ba47f7ed6
[root@kibana ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
7bee273b3671 centos:7 "/bin/bash" 3 seconds ago Up 2 seconds tese13
dd5782cde89d centos:7 "/bin/bash" About an hour ago Up About an hour test3
de37ff32e2c4 centos:7 "/bin/bash" 2 hours ago Up 2 hours test1
或者
1.2.2 修改文件参数
[root@kibana ~]# echo 20000 > /sys/fs/cgroup/cpu/docker/7bee273b367147dd9ef7946229ad316f12b095be268ef2c1e8a5078ba47f7ed6/cpu.cfs_quota_us
[root@kibana ~]#echo 20000 》
可以使用–help查看命令
[root@kibana ~]# docker run --help
对容器CPU进行BC压力测试，测试之前新开一台终端，top，然后按1
[root@kibana ~]# docker exec -it tese13 /bin/bash
[root@7bee273b3671 /]# yum install bc -y
[root@7bee273b3671 /]# echo "scale=5000;4*a(1)" | bc -l -q
解释：a是bc的一个内置函数，代表反正切arctan，由于 tan(pi/4)=1,于是4*arctan(1) = pi
bc的cpu占用率被限制在20
备注：
种方法是绝对限制
Docker 提供了–cpu-period、–cpu-quota两个参数控制容器可以分配到的cpu时钟周期
–cpu-period是用来指定容器对CPU的使用要在多长时间内做一次重新分配
–cpu-quota是用来指定在这个周期内，最多可以有多少时间用来跑这个容器
与–cpu-shares不同的是，这种配置是指定一个绝对值，容器对CPU资源的使用绝对不会超过配置的值
–cpu-period和–cpu-quota的单位为微秒（1秒=1的六次方微秒），cpu-period的最小值为1000微秒，最大值为1000000微秒（1秒），默认值是0.1秒
–cpu-quota的默认值为-1，代表不做控制。
–cpu-period和–cpu-quota参数一般联合使用
例如：容器进程需要每一秒使用单个CPU的0.2秒时间，可以将–cpu-period设置为1秒，cpu-quota值设为0.2秒
当然，在多核情况下，如果允许容器进程完全占用两个cpu，可以将cpu-period设为0.1秒，cpu-quota设置0.2秒
[root@localhost stress]# docker ru -itd --cpu-period 100000 --cpu-quota 200000 centos:stress
[root@localhost stress]# docker exec -it 容器ID
[root@localhost stress]# cat /sys/fs/cgroup/cpu/cpu.cfs_period_us
[root@localhost stress]# cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us
1.2.3 创建时按比例分配CPU资源
创建两个容器为C1和C2，若只有这两个容器，设置容器的权重，使得C1和C2的CPU资源占比为33.3%和66.7%
[root@kibana ~]# docker run -itd --name c1 --network net172.18/16 --ip 172.18.0.21 --cpu-shares 512 centos:7 /bin/bash
9128e8cb60893a90eaf6575e7b36f104574bf22282311553a19b7dc56cf77045
[root@kibana ~]# docker run -itd --name c2 --network net172.18/16 --ip 172.18.0.22 --cpu-shares 512 centos:7 /bin/bash
b85c3fd567e8d30c4888243ee5f05167bf89e4cbb43a5b6d5499b81914775751
docker run -itd --name c1 --cpu-shares 512 centos:7
docker run -itd --name c2 --cpu-shares 1024 centos:7
[root@kibana ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
b85c3fd567e8 centos:7 "/bin/bash" 48 seconds ago Up 47 seconds c2
9128e8cb6089 centos:7 "/bin/bash" About a minute ago Up About a minute c1
7bee273b3671 centos:7 "/bin/bash" 59 minutes ago Up 59 minutes tese13
dd5782cde89d centos:7 "/bin/bash" 2 hours ago Up 2 hours test3
de37ff32e2c4 centos:7 "/bin/bash" 3 hours ago Up 3 hours test1
分别进容器测试，在top查看，或者docker stats 查看状态
[root@kibana ~]# docker stats
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
b85c3fd567e8 c2 0.00% 392KiB / 1.781GiB 0.02% 648B / 0B 0B / 0B 1
9128e8cb6089 c1 0.00% 392KiB / 1.781GiB 0.02% 648B / 0B 0B / 0B 1
7bee273b3671 tese13 0.00% 272KiB / 1.781GiB 0.01% 14.9MB / 123kB 0B / 0B 1
dd5782cde89d test3 0.00% 944KiB / 1.781GiB 0.05% 15.1MB / 175kB 0B / 0B 3
de37ff32e2c4 test1 0.00% 80KiB / 1.781GiB 0.00% 15.1MB / 158kB 0B / 0B 1
进入c1，c2，安装压力测试软件stress
[root@kibana ~]# docker exec -it c1 /bin/bash
[root@9128e8cb6089 /]# yum install epel-release -y
[root@9128e8cb6089 /]# yum install stress -y
[root@kibana ~]# docker exec -it c2 /bin/bash
[root@b85c3fd567e8 /]# yum install epel-release -y
[root@b85c3fd567e8 /]# yum install stress -y
c1，c2测试
[root@b85c3fd567e8 /]# stress -c 4
[root@9128e8cb6089 /]# stress -c 4
备注：命令中的–cpu-shares参数值不能保证可以获得一个vcpu或者多少GHz的CPU资源，它仅是一个弹性的加权值
默认情况下，每个docker容器的CPU份额都是1024，单独一个容器的份额是没有意义的，只有在同时运行多个容器时，容器的CPU加权的效果才能体现出来
例如，两个容器A、B的CPU份额分别为1000和500，在cpu进行时间分片分配的时候，容器A比容器B多一倍的机会获得CPU的时间片
但分配的结果要取决于当时主机和其他容器的运行状态，实际上也无法保证容器A一定能获得CPU时间片；比如容器A的进程一直是空闲的，那么容器B是可以获取比容器A更多的CPU时间片的，极端情况下，例如主机上只运行了一个容器，即使他的CPU份额只有50，它也可以独占整个主机的CPU资源
cgroup只在容器分配的资源紧缺时，也为了安全考虑，，即在有必要需要对容器使用的资源进行限制，才会生效。
因此，无法单纯根据某个容器的CPU份额来确定有多少CPU资源分配给它，可以通过Cpu share设置使用CPU的优先级，比如启动了两个容器及运行查看CPU使用百分比
[root@localhost stress]# docker run -itd --name cpu512 --cpu-shares 512 centos:stress -c 10
#容器产生10个子函数进程
[root@localhost stress]# docker exec -it cpu512 bash
#进入容器使用top查看cpu使用情况
再开一个容器做比较
[root@localhost stress]# docker run -itd --name cpu1024 --cpu-shares 1024 centos:stress -c 10
[root@localhost stress]# docker exec -it cpu1024 bash
#进入容器使用top对比两个容器的%CPU，比例是1：2
1.2.4 限制容器使用指定的CPU core
对多核CPU的服务器，Docker还可以控制容器运行使用哪些CPU内核，即使用–cpuset-cpus参数
这对具有多cpu的服务器尤为有用，可以对需要高性能计算的容器进行性能优化的配置
当前cpu核数为4核
验证方法：top 然后按1检查
[root@kibana ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
b85c3fd567e8 centos:7 "/bin/bash" About an hour ago Exited (137) 37 minutes ago c2
9128e8cb6089 centos:7 "/bin/bash" About an hour ago Exited (137) 37 minutes ago c1
7bee273b3671 centos:7 "/bin/bash" 2 hours ago Exited (137) 37 minutes ago tese13
dd5782cde89d centos:7 "/bin/bash" 4 hours ago Exited (137) 37 minutes ago test3
de37ff32e2c4 centos:7 "/bin/bash" 4 hours ago Exited (137) 37 minutes ago test1
批量删除容器
[root@kibana ~]# docker ps -a | awk '{print "docker rm "$1}' | bash
Error: No such container: CONTAINER
b85c3fd567e8
9128e8cb6089
7bee273b3671
dd5782cde89d
de37ff32e2c4
[root@kibana ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
创建容器，指定cpuID给容器test02
[root@kibana ~]# docker run -idt --name test02 --cpuset-cpus 1,3 centos:7 /bin/bash
ad53ee764486d1b26ff664b62dc6b2056269d605967e45799f1b369d08cb4c4b
[root@kibana ~]#
进入容器，压测检查
[root@ad53ee764486 /]# yum install stress epel-release -y
[root@ad53ee764486 /]# stress -c 4
top 然后按1检查
只有指定的内核在运转
备注：
[root@localhost stress]# docker run -itd --name cpu1 --cpuset-cpus 0-1 centos:stress
执行以上命令需要宿主机为双核，表示创建的容器只能用0、1两个内核，最终生成的cgroup的cpu内核配置如下
[root@localhost stress]# docker exec -it cpu1 bash
[root@localhost stress]# cat /sys/fs/cgroup/cpuset/cpuset.cpus
0-1
通过下面指令可以看到容器中进程与CPU内核的绑定关系，达到绑定CPU内核的目的
[root@localhost stress]# docker exec cpu1 taskset -c -p 1
#容器内部第一个进程号pid为1的被绑定到指定CPU上运行
pid 1's current affinity list: 0,1
1.2.5 cpu配额控制参数的混合使用
通过 cpuset-cpus参数指定容器A使用cpu内核0，容器B用cpu内核1
在主机上只有这两个容器使用相对应cpu内核的情况下，它们各自占用全部的内核资源，cpu-shares没有明显效果
cpuset-cpus与cpuset-mems参数只在多核、多内存节点上的服务器有效，并且必须与实际的物理配置汽配，不能溢出，否则也无法达到资源控制的目的
在系统具有多个cpu内核的情况下，需要通过cpuset-cpus参数为设置容器cpu内核才能方便地进行测试
宿主系统为4核心地情况下
[root@localhost stress]# docker run -itd --name cpu3 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1
[root@localhost stress]# docker exec it cpu3 bash
[root@localhost 容器ID]# top
[root@localhost 容器ID]#exit
[root@localhost stress]# top #记住按1查看每个核心地占用
再创建一个
[root@localhost stress]# docker run -itd --name cpu4 --cpuset-cpus 2 --cpu-shares 1024 centos:stress stress -c 1
总结：上面地centos：stress镜像安装了stress工具，用来测试cpu和内存地负载，通过在两个容器上分别执行stress -c 1命令，将会给系统一个随机负载，产生一个进程，这一个进程都反复不停地计算由rand（）产生随机数地平方根，直到资源耗尽
观察到宿主机地cpu使用率，创建容器时指定地cpu使用率接近100%，并且一批进程地cpu使用率明显存在2：1地使用比例地对比
二： docker资源控制——Mem
限制内存使用
docker run -itd --name testm -m 512m centos:7 /bin/bash
[root@kibana ~]# docker run -itd --name testm -m 512m centos:7 /bin/bash
[root@kibana ~]# docker stats
进入容器验证
[root@fc4e53fcf5c9 /]# yum install epel* -y
[root@fc4e53fcf5c9 /]# yum install stress -y
[root@fc4e53fcf5c9 /]# stress -m 512m --vm 2
备注：
与操作系统类似，容器可使用地内存包括两部分：物理内存和swap
docker通过下面两组参数来控制容器内存地使用量
-m或–memory：设置内存地使用限额，例如100m或者1024m
–memory-swap：设置内存+swap地使用限额
执行如下命令允许该容器最多使用200m的内存和300m的swap
[root@localhost stress]# docker run -itd --name memswap1 -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 280M
–vm 1：启动一个内存工作线程
–vm-bytes 280M：每个线程分配280M内存
默认情况下，容器可以使用主机上的所有空闲内存，与cpu的cgroups配置类似，docker会自动为容器在宿主目录/sys/fs/group/memory/docker/容器完整ID/中创建相应的cgroup配置文件
如果让工作线程分配的内存超过300M，分配的内存超过限额，tress线程报错，容器异常退出
[root@localhost stress]# docker run -itd -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 310M
三：docker资源控制——IOps和bps
bps是byte per seconds，每秒读写的数据量
iops是 io per seconds，每秒IO的次数
对block的IO进行限制
控制数据量用的多
控制IO次数用的不太多
–device-read-bps：限制读某个设备的bps(数据量)
例：docker run -d --device-read-bps /dev/sda:30M centos:7
–device-write-bps:限制某个写入设备的bs（数据量）
例：docker run -d --device-write-bps /dev/sda:30 centos:7
–device-read-iops:限制读某个设备的iops（次数）
–device-write-iops:限制写入某个设备的iops（次数）
限制容器流量在30M每秒
[root@kibana ~]# docker run -tid --name testi --device-read-bps /dev/sda:30M centos:7 /bin/bash
[root@kibana ~]# docker stats