示例案例將構建3臺master節點，2臺work節點。
PS：
外置etcd方案：etcd和控制平面被分離，需要更多的硬件，也有更好的保障能力，Etcd使用RAFT算法選主，節點數量需要爲2n+1個。
![]()
k8s集羣默認不允許將Pod副本調度到Master節點上，因此Master節點配置比Node節點配置低一些，k8s的節點最低配置要求2核4G內存，低於這個配置集羣部分組件無法運行。
如果3臺Master宕了2臺時，集羣將不可用，可能收到如下錯誤信息"Error from server: etcdserver: request timed out"。
首先通過proxmox創建5臺虛擬機。
操作系統爲ubuntu-22.04.1-live-server-amd64.iso
PS：由於Centos不再官網開源維護，服務器系統選型方面，ubuntu-server是目前的主流且最優解。
1.0 proxmox 虛擬機規劃
| 序號 | 系統類型 | IP地址 | 節點角色 | CPU | 內存 | hostname |
|---|---|---|---|---|---|---|
| 01 | ubuntu-server-22.04.1 | 192.168.3.101 | master | 1核2線程 2.3-3.1GHz | 4GB | masterServer1 |
| 01 | ubuntu-server-22.04.1 | 192.168.3.102 | master | 1核2線程 2.3-3.1GHz | 4GB | masterServer2 |
| 01 | ubuntu-server-22.04.1 | 192.168.3.103 | master | 1核2線程 2.3-3.1GHz | 4GB | masterServer3 |
| 01 | ubuntu-server-22.04.1 | 192.168.3.104 | master | 1核2線程 2.3-3.1GHz | 4GB | backend1 |
| 01 | ubuntu-server-22.04.1 | 192.168.3.105 | master | 1核2線程 2.3-3.1GHz | 4GB | backend2 |
2.0 proxmox 虛擬機創建
去ubuntu官網下載系統的iso文件，然後上傳到proxmox。
點擊創建虛擬機
id、名稱隨便取，勾選
高級，勾中開啓自啓動，下一步。
如下，下一步：
系統，默認，下一步：
磁盤，默認，下一步：
CPU，1核心2線程，下一步：
內存4GB，下一步：
填寫如下，下一步：
確認，完成：
3.0 ubuntu-server安裝
進入控制檯，運行系統，選擇第一個：
選擇English：
這裏詢問是否更新到最新的安裝，選擇不更新安裝即可：
鍵盤佈局，默認，下一步Done：
詢問正常安裝還是最小安裝，這裏我們選最小安裝，Done：
鍵盤上下左右箭頭按鍵，或者tab鍵切換選項，回車鍵或者中間空格表示選中。
網絡配置默認即可，Done：
當然，如果要自定義參數，步驟如下：
配置頁面的Proxy address（代理地址），無需配置，下一步：
設置鏡像源地址，這裏我們選擇華爲源（大佬說華爲的源對arm64的支持比較好用 https://zhuanlan.zhihu.com/p/563177876），其實哪個都差不多，我們目前用不了那麼深。
華爲源：https://repo.huaweicloud.com/ubuntu
阿里源：http://mirrors.aliyun.com/ubuntu
中科大源：https://mirrors.ustc.edu.cn/ubuntu
選擇安裝磁盤，直接回車默認自動分配，需要手動分區的話選擇 [custom storage layout]
檢查磁盤分區是否符合所需要求，回車繼續
再次確認 ，Continue 繼續
設置計算機名、用戶名及密碼
按空格鍵 選擇安裝 OpenSSH Server 服務
選擇預置環境，按需選取，不需要則直接選擇Done回車繼續，這裏我們不需要，Done繼續：
開始安裝系統
直接選擇 [reboot Now]不安裝更新直接重啓
輸入 賬號、密碼 後成功登錄系統
4.0 系統初始化
4.1 更新系統
sudo apt update
sudo apt upgrade
參考輸出：
更新完成後，提示（Which services should be restarted？）哪些服務需要重新啓動
這裏輸入8不用重啓
4.2 安裝 ifconfig、vim
sudo apt install net-tools
sudo apt-get install vim-gtk
同樣，提示（Which services should be restarted？）哪些服務需要重新啓動，輸入8不用重啓
4.3 查看IP
ifconfig
參考輸出：
4.4 開啓root用戶登錄,給root賬戶設置密碼
在當前普通用戶界面下輸入命令:
sudo passwd root
然後按提示兩次輸入密碼即可。
參考輸出：
4.5 修改sshd配置，開啓ssh登錄訪問
sudo vim /etc/ssh/sshd_config
按i進入編輯模式，
刪掉Port前面的#，找到#PermitRootLogin prohibit-password，直接在下面添加一行PermitRootLogin yes。
全部修改如下：
Port 22
PermitRootLogin yes
PasswordAuthentication yes
然後按esc，輸入:wq保存並退出。
重啓sshd服務
sudo systemctl restart sshd
#或
systemctl restart ssh.service
查看服務器端口
netstat -ntulp |grep 22
參考輸出：
啓動ssh命令（不執行，僅記錄）
service ssh start
#或
/etc/init.d/ssh start
設置開機自啓
sudo update-rc.d ssh enable
參考輸出：
4.6 ssh登錄軟件登錄
打開xshell等類似ssh登錄軟件，新建一個會話。
配置連接參數和
用戶身份驗證
保存，連接，如果彈出祕鑰警告，選擇
接受並保存：
打印如下表示連接成功：
4.7 修改IP
sudo vim /etc/netplan/00-installer-config.yaml
備註：編輯yaml 配置文件，注意縮進，否則後面應用就會報錯
參考輸入：
network:
ethernets:
ens18:
dhcp4: no
dhcp6: no
addresses:
- 192.168.3.101/24
routes:
- to: default
via: 192.168.3.1
nameservers:
addresses:
- 192.168.3.1
- 8.8.8.8
- 114.114.114.114
version: 2
renderer: networkd
其中
ens18 是網卡名字
192.168.3.101是ip4的ip地址
子網掩碼是via。
DNS是addresses。
應用配置生效:
sudo netplan apply
然後重新調整xshell配置的masterServer1的屬性，改爲配置的ip。
重新連接即可。
4.9 創建5個服務器（節點）
還剩其他4個，這裏使用proxmox的克隆即可。
id和名稱還剩可以隨便取，保持和原版本設置不一致即可。
依次操作4次，最後構建如下：
4.10 調整每臺服務器的ip地址，並用ssh打開。
在控制檯將每一個服務器打開運行。
以其中一個爲例，修改其ip配置：
運行命令：
sudo vim /etc/netplan/00-installer-config.yaml
應用配置生效:
sudo netplan apply
檢查是否配置成功。
xshell驗證連接：
如上，每一個都連接成功。
5.0 系統設置
5.1 主機名
主機名必須每個節點不一樣，並保證所有點之間可以通過hostname互相訪問。
# 查看主機名
hostname
# 修改主機名
hostnamectl set-hostname <your_hostname>
# 配置host，使所有節點之間可以通過hostname互相訪問
vim /etc/hosts
# <node-ip> <node-hostname>
以masterServer1服務器爲例，參考輸出：
root@bobokaka:~# hostname
bobokaka
root@bobokaka:~# hostnamectl set-hostname masterServer1
root@bobokaka:~# hostname
masterServer1
root@bobokaka:~# vim /etc/hosts
127.0.0.1 localhost
127.0.1.1 bobokaka
192.168.3.101 masterServer1
192.168.3.102 masterServer2
192.168.3.103 masterServer3
192.168.3.104 backend1
192.168.3.105 backend2
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
root@bobokaka:~#
檢查配置host是否正確
cat /etc/hosts
參考輸出：
root@bobokaka:~# cat /etc/hosts
127.0.0.1 localhost
127.0.1.1 bobokaka
192.168.3.101 masterServer1
192.168.3.102 masterServer2
192.168.3.103 masterServer3
192.168.3.104 backend1
192.168.3.105 backend2
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
root@bobokaka:~#
5.2 安裝依賴包
到這一步，最好把5個服務器都重啓一下。
reboot
重啓後，仍然以masterServer1服務器爲例，5臺服務器都需要運行：
apt-get update
apt-get upgrade
apt-get install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccomp-dev
PS：注：ipvs 依賴 ipset
參考輸出：
root@masterServer1:~# apt-get install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccomp-dev
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
curl is already the newest version (7.81.0-1ubuntu1.6).
curl set to manually installed.
The following additional packages will be installed:
libip6tc2 libipset13 libjq1 libnetfilter-conntrack3 libnfnetlink0 libnftnl11 libnl-3-200
libnl-genl-3-200 libonig5 libsensors-config libsensors5
Suggested packages:
nftables firewalld heartbeat keepalived ldirectord seccomp lm-sensors isag
The following NEW packages will be installed:
conntrack ipset iptables ipvsadm jq libip6tc2 libipset13 libjq1 libnetfilter-conntrack3 libnfnetlink0
libnftnl11 libnl-3-200 libnl-genl-3-200 libonig5 libseccomp-dev libsensors-config libsensors5 sysstat
0 upgraded, 18 newly installed, 0 to remove and 0 not upgraded.
Need to get 1814 kB of archives.
After this operation, 7459 kB of additional disk space will be used.
Get:1 https://repo.huaweicloud.com/ubuntu jammy/main amd64 libip6tc2 amd64 1.8.7-1ubuntu5 [20.2 kB]
Get:2 https://repo.huaweicloud.com/ubuntu jammy/main amd64 libnfnetlink0 amd64 1.0.1-3build3 [14.6 kB]
......
Get:18 https://repo.huaweicloud.com/ubuntu jammy/main amd64 ipvsadm amd64 1:1.31-1build2 [42.2 kB]
Fetched 1814 kB in 4s (479 kB/s)
debconf: delaying package configuration, since apt-utils is not installed
Selecting previously unselected package libip6tc2:amd64.
(Reading database ... 84207 files and directories currently installed.)
Preparing to unpack .../00-libip6tc2_1.8.7-1ubuntu5_amd64.deb ...
Unpacking libip6tc2:amd64 (1.8.7-1ubuntu5) ...
Selecting previously unselected package libnfnetlink0:amd64.
Preparing to unpack .../01-libnfnetlink0_1.0.1-3build3_amd64.deb ...
Unpacking libnfnetlink0:amd64 (1.0.1-3build3) ...
......
debconf: falling back to frontend: Readline
Scanning processes...
Scanning linux images...
Running kernel seems to be up-to-date.
No services need to be restarted.
No containers need to be restarted.
No user sessions are running outdated binaries.
No VM guests are running outdated hypervisor (qemu) binaries on this host.
root@masterServer1:~#
5.3 關閉防火牆、swap，重置iptables
仍然以masterServer1服務器爲例，5臺服務器都需要運行：
# 關閉防火牆
systemctl stop firewalld && systemctl disable firewalld
# 重置iptables(清空防火牆規則)
iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat && iptables -P FORWARD ACCEPT
# 關閉swap
# 如果開啓了 swap 分區，kubelet 會啓動失敗
# (可以通過將參數 --fail-swap-on 設置爲false 來忽略 swap on)
# 故需要在每臺機器上關閉 swap 分區
# 爲了防止開機自動掛載 swap 分區，可以註釋 /etc/fstab 中相應得到條目
swapoff -a
sed -i '/swap/s/^\(.*\)$/#\1/g' /etc/fstab
# 關閉 SELinux
# 關閉SELinux，否則後續 K8S 掛載目錄時可能報錯 Permission denied ：
setenforce 0
# 如果報錯：-bash: setenforce: command not found，執行如下安裝：
apt install selinux-utils
# 關閉dnsmasq
# linux 系統開啓了 dnsmasq 後(如 GUI 環境)，將系統 DNS Server 設置爲 127.0.0.1，這會導致 docker 容器無法解析域名，需要關閉它
service dnsmasq stop && systemctl disable dnsmasq
參考輸出：
root@masterServer1:~# systemctl stop firewalld && systemctl disable firewalld
Failed to stop firewalld.service: Unit firewalld.service not loaded.
root@masterServer1:~# iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat && iptables -P FORWARD ACCEPT
root@masterServer1:~# swapoff -a
root@masterServer1:~# sed -i '/swap/s/^\(.*\)$/#\1/g' /etc/fstab
root@masterServer1:~# setenforce 0
-bash: setenforce: command not found
root@masterServer1:~# apt install selinux-utils
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
......
Scanning processes...
Scanning linux images...
Running kernel seems to be up-to-date.
No services need to be restarted.
No containers need to be restarted.
No user sessions are running outdated binaries.
No VM guests are running outdated hypervisor (qemu) binaries on this host.
root@masterServer1:~# setenforce 0
setenforce: SELinux is disabled
root@masterServer1:~# service dnsmasq stop && systemctl disable dnsmasq
Failed to stop dnsmasq.service: Unit dnsmasq.service not loaded.
root@masterServer1:~#
5.4 設置系統參數
5.4.1 添加加載的內核模塊
以下代碼，全部複製粘貼運行。
tee /etc/modules-load.d/containerd.conf<<EOF
overlay
br_netfilter
EOF
參考輸出:
root@masterServer1:/opt/kubernetes/docker# tee /etc/modules-load.d/containerd.conf<<EOF
overlay
br_netfilter
EOF
overlay
br_netfilter
root@masterServer1:/opt/kubernetes/docker#
5.4.2 加載內核模塊
modprobe overlay
modprobe br_netfilter
參考輸出:
root@masterServer1:~# modprobe br_netfilter
root@masterServer1:~# modprobe ip_conntrack
root@masterServer1:~#
5.4.3 製作配置文件
以下代碼，全部複製粘貼運行。
cat > /etc/sysctl.d/kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF
生效文件
sysctl -p /etc/sysctl.d/kubernetes.conf
PS:tcp_tw_recycle 和 Kubernetes 的 NAT 衝突，必須關閉 ，否則會導致服務不通；
關閉不使用的 IPV6 協議棧，防止觸發 docker BUG；
參考輸出：
root@masterServer1:~# cat > /etc/sysctl.d/kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF
root@masterServer1:~# sysctl -p /etc/sysctl.d/kubernetes.conf
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
vm.overcommit_memory = 1
vm.panic_on_oom = 0
fs.inotify.max_user_watches = 89100
fs.file-max = 52706963
fs.nr_open = 52706963
net.ipv6.conf.all.disable_ipv6 = 1
net.netfilter.nf_conntrack_max = 2310720
root@masterServer1:~#
說明
# 二層的網橋在轉發包時也會被iptables的FORWARD規則所過濾，這樣有時會出現L3層的iptables rules去過濾L2的幀的問題
net.bridge.bridge-nf-call-iptables=1
# 是否在ip6tables鏈中過濾IPv6包
net.bridge.bridge-nf-call-ip6tables=1
# 如果將Linux系統作爲路由或者VPN服務就必須要開啓IP轉發功能。0表示不開啓，爲1表示開啓。
net.ipv4.ip_forward=1
# 表示開啓TCP鏈接中TIME-WAIT sockets的快速回收，默認爲0，表示關閉。linux4.12之後被廢棄，所以4.12之後的內核，不能配置這個參數
net.ipv4.tcp_tw_recycle=0
# 禁止使用 swap 空間，只有當系統 OOM 時才允許使用它
vm.swappiness=0
# 不檢查物理內存是否夠用
vm.overcommit_memory=1
# 開啓 OOM
vm.panic_on_oom=0
# 同一用戶同時可以添加的watch數目，默認8192。
fs.inotify.max_user_watches=89100
# 文件描述符的最大值
fs.file-max=52706963
#設置最大微博號打開數
fs.nr_open=52706963
#禁用IPv6，修爲0爲啓用IPv6
net.ipv6.conf.all.disable_ipv6=1
# 連接跟蹤表的大小，建議根據內存計算該值CONNTRACK_MAX = RAMSIZE (in bytes) / 16384 / (x / 32)，並滿足nf_conntrack_max=4*nf_conntrack_buckets，默認262144
net.netfilter.nf_conntrack_max=2310720
可能的更爲詳盡的參數(當下未配置這麼多)：
net.ipv4.tcp_keepalive_time=600 #此參數表示TCP發送keepalive探測消息的間隔時間(秒)
net.ipv4.tcp_keepalive_intvl=30 #tcp檢查間隔時間（keepalive探測包的發送間隔）
net.ipv4.tcp_keepalive_probes=10 #tcp檢查次數（如果對方不予應答，探測包的發送次數）
net.ipv6.conf.all.disable_ipv6=1 #禁用IPv6，修爲0爲啓用IPv6
net.ipv6.conf.default.disable_ipv6=1 #禁用IPv6，修爲0爲啓用IPv6
net.ipv6.conf.lo.disable_ipv6=1 #禁用IPv6，修爲0爲啓用IPv6
net.ipv4.neigh.default.gc_stale_time=120 #ARP緩存條目超時
net.ipv4.conf.all.rp_filter=0 #默認爲1，系統會嚴格校驗數據包的反向路徑，可能導致丟包
net.ipv4.conf.default.rp_filter=0 #不開啓源地址校驗
net.ipv4.conf.default.arp_announce=2 #始終使用與目的IP地址對應的最佳本地IP地址作爲ARP請求的源IP地址
net.ipv4.conf.lo.arp_announce=2 #始終使用與目的IP地址對應的最佳本地IP地址作爲ARP請求的源IP地址
net.ipv4.conf.all.arp_announce=2 #始終使用與目的IP地址對應的最佳本地IP地址作爲ARP請求的源IP地址
net.ipv4.ip_local_port_range= 45001 65000 # 定義網絡連接可用作其源（本地）端口的最小和最大端口的限制，同時適用於TCP和UDP連接。
net.ipv4.ip_forward=1 # 其值爲0,說明禁止進行IP轉發；如果是1,則說明IP轉發功能已經打開。
net.ipv4.tcp_max_tw_buckets=6000 #配置服務器 TIME_WAIT 數量
net.ipv4.tcp_syncookies=1 #此參數應該設置爲1，防止SYN Flood
net.ipv4.tcp_synack_retries=2 #表示迴應第二個握手包（SYN+ACK包）給客戶端IP後，如果收不到第三次握手包（ACK包），進行重試的次數（默認爲5）
net.bridge.bridge-nf-call-ip6tables=1 # 是否在ip6tables鏈中過濾IPv6包
net.bridge.bridge-nf-call-iptables=1 # 二層的網橋在轉發包時也會被iptables的FORWARD規則所過濾，這樣有時會出現L3層的iptables rules去過濾L2的幀的問題
net.netfilter.nf_conntrack_max=2310720 #連接跟蹤表的大小，建議根據內存計算該值CONNTRACK_MAX = RAMSIZE (in bytes) / 16384 / (x / 32)，並滿足nf_conntrack_max=4*nf_conntrack_buckets，默認262144
net.ipv6.neigh.default.gc_thresh1=8192
net.ipv6.neigh.default.gc_thresh2=32768
net.ipv6.neigh.default.gc_thresh3=65536
#gc_thresh3 是表大小的絕對限制
#gc_thresh2 設置爲等於系統的最大預期鄰居條目數的值
#在這種情況下，gc_thresh3 應該設置爲一個比 gc_thresh2 值高的值，例如，比 gc_thresh2 高 25%-50%，將其視爲浪湧容量。
#gc_thresh1 提高到較大的值；此設置的作用是，如果表包含的條目少於 gc_thresh1，內核將永遠不會刪除（超時）過時的條目。
net.core.netdev_max_backlog=16384 # 每CPU網絡設備積壓隊列長度
net.core.rmem_max = 16777216 # 所有協議類型讀寫的緩存區大小
net.core.wmem_max = 16777216 # 最大的TCP數據發送窗口大小
net.ipv4.tcp_max_syn_backlog = 8096 # 第一個積壓隊列長度
net.core.somaxconn = 32768 # 第二個積壓隊列長度
fs.inotify.max_user_instances=8192 # 表示每一個real user ID可創建的inotify instatnces的數量上限，默認128.
fs.inotify.max_user_watches=524288 # 同一用戶同時可以添加的watch數目，默認8192。
fs.file-max=52706963 # 文件描述符的最大值
fs.nr_open=52706963 #設置最大微博號打開數
kernel.pid_max = 4194303 #最大進程數
net.bridge.bridge-nf-call-arptables=1 #是否在arptables的FORWARD中過濾網橋的ARP包
vm.swappiness=0 # 禁止使用 swap 空間，只有當系統 OOM 時才允許使用它
vm.overcommit_memory=1 # 不檢查物理內存是否夠用
vm.panic_on_oom=0 # 開啓 OOM
vm.max_map_count = 262144
5.4.3 用內核參數
sysctl --system
參考輸出：
root@masterServer1:/opt/kubernetes/docker# sysctl --system
* Applying /etc/sysctl.d/10-console-messages.conf ...
kernel.printk = 4 4 1 7
* Applying /etc/sysctl.d/10-ipv6-privacy.conf ...
net.ipv6.conf.all.use_tempaddr = 2
net.ipv6.conf.default.use_tempaddr = 2
* Applying /etc/sysctl.d/10-kernel-hardening.conf ...
kernel.kptr_restrict = 1
* Applying /etc/sysctl.d/10-magic-sysrq.conf ...
kernel.sysrq = 176
* Applying /etc/sysctl.d/10-network-security.conf ...
net.ipv4.conf.default.rp_filter = 2
net.ipv4.conf.all.rp_filter = 2
* Applying /etc/sysctl.d/10-ptrace.conf ...
kernel.yama.ptrace_scope = 1
* Applying /etc/sysctl.d/10-zeropage.conf ...
vm.mmap_min_addr = 65536
* Applying /usr/lib/sysctl.d/50-default.conf ...
kernel.core_uses_pid = 1
net.ipv4.conf.default.rp_filter = 2
net.ipv4.conf.default.accept_source_route = 0
sysctl: setting key "net.ipv4.conf.all.accept_source_route": Invalid argument
net.ipv4.conf.default.promote_secondaries = 1
sysctl: setting key "net.ipv4.conf.all.promote_secondaries": Invalid argument
net.ipv4.ping_group_range = 0 2147483647
net.core.default_qdisc = fq_codel
fs.protected_hardlinks = 1
fs.protected_symlinks = 1
fs.protected_regular = 1
fs.protected_fifos = 1
* Applying /usr/lib/sysctl.d/50-pid-max.conf ...
kernel.pid_max = 4194304
* Applying /usr/lib/sysctl.d/99-protect-links.conf ...
fs.protected_fifos = 1
fs.protected_hardlinks = 1
fs.protected_regular = 2
fs.protected_symlinks = 1
* Applying /etc/sysctl.d/99-sysctl.conf ...
* Applying /etc/sysctl.d/kubernetes.conf ...
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
vm.overcommit_memory = 1
vm.panic_on_oom = 0
fs.inotify.max_user_watches = 89100
fs.file-max = 52706963
fs.nr_open = 52706963
net.ipv6.conf.all.disable_ipv6 = 1
net.netfilter.nf_conntrack_max = 2310720
* Applying /etc/sysctl.conf ...
root@masterServer1:/opt/kubernetes/docker#