部署組件
該 Kubernetes 部署過程中，對於部署環節，涉及多個組件，主要有 kubeadm 、kubelet 、kubectl。
kubeadm介紹
Kubeadm 爲構建 Kubernetes 提供了便捷、高效的“最佳實踐” ，該工具提供了初始化完整 Kubernetes 過程所需的組件，其主要命令及功能有：
- kubeadm init：用於搭建 Kubernetes 控制平面節點；
- kubeadm join：用於搭建 Kubernetes 工作節點並將其加入到集羣中；
- kubeadm upgrade：用於升級 Kubernetes 集羣到新版本；
- kubeadm token：用於管理 kubeadm join 使用的 token；
- kubeadm reset：用於恢復（重置）通過 kubeadm init 或者 kubeadm join 命令對節點進行的任何變更；
- kubeadm certs：用於管理 Kubernetes 證書；
- kubeadm kubeconfig：用於管理 kubeconfig 文件；
- kubeadm version：用於顯示（查詢）kubeadm 的版本信息；
- kubeadm alpha：用於預覽當前從社區收集到的反饋中的 kubeadm 特性。
更多參考：Kubeadm介紹
kubelet介紹
kubelet 是 Kubernetes 集羣中用於操作 Docker 、containerd 等容器運行時的核心組件，需要在每個節點運行。通常該操作是基於 CRI 實現，kubelet 和 CRI 交互，以便於實現對 Kubernetes 的管控。
kubelet 主要用於配置容器網絡、管理容器數據卷等容器全生命週期，對於 kubelet 而言，其主要的功能核心有：
- Pod 更新事件；
- Pod 生命週期管理；
- 上報 Node 節點信息。
更多參考：kubelet介紹
kubectl介紹
kubectl 控制 Kubernetes 集羣管理器，是作爲 Kubernetes 的命令行工具，用於與 apiserver 進行通信，使用 kubectl 工具在 Kubernetes 上部署和管理應用程序。
使用 kubectl，可以檢查羣集資源的創建、刪除和更新組件。
同時集成了大量子命令，可更便捷的管理 Kubernetes 集羣，主要命令如下：
- Kubetcl -h：顯示子命令；
- kubectl option：查看全局選項；
- kubectl <command> --help：查看子命令幫助信息；
- kubelet [command] [PARAMS] -o=<format>：設置輸出格式，如json、yaml等；
- Kubetcl explain [RESOURCE]：查看資源的定義。
更多參考：kubectl介紹
方案概述
方案介紹
本方案基於 kubeadm 部署工具實現完整生產環境可用的 Kubernetes 高可用集羣，同時提供相關 Kubernetes 周邊組件。
其主要信息如下：
- 版本：Kubernetes 1.29.2 版本；
- kubeadm：採用 kubeadm 部署Kubernetes；
- OS：CentOS 8；
- etcd：採用融合方式；
- Nginx：以Pod形式運行與Kubernetes之上，即in Kubernetes模式，提供反向代理至3個master 6443端口；
- KeepAlived：用於實現 apiserver 的高可用；
- 其他主要部署組件包括：
- Metrics：度量組件，用於提供相關監控指標；
- Dashboard：Kubernetes 集羣的前端圖形界面；
- Helm：Kubernetes Helm 包管理器工具，用於後續使用 helm 整合包快速部署應用；
- Ingress：Kubernetes 服務暴露應用，用於提供7層的負載均衡，類似 Nginx，可建立外部和內部的多個映射規則；
- containerd：Kubernetes底層容器時；
- Longhorn：Kubernetes 動態存儲組件，用於提供 Kubernetes 的持久存儲。
提示：本方案部署所使用腳本均由本人提供，可能不定期更新。
部署規劃
節點規劃
| 節點主機名 | IP | 類型 | 運行服務 |
|---|---|---|---|
| master01 | 172.24.8.111 | Kubernetes master節點 | kubeadm、kubelet、kubectl、KeepAlived、 containerd、etcd、kube-apiserver、kube-scheduler、 kube-controller-manager、calico、WebUI、metrics、ingress、Longhorn ui節點 |
| master02 | 172.24.8.112 | Kubernetes master節點 | kubeadm、kubelet、kubectl、KeepAlived、 containerd、etcd、kube-apiserver、kube-scheduler、 kube-controller-manager、calico、WebUI、metrics、ingress、Longhorn ui節點 |
| master03 | 172.24.8.113 | Kubernetes master節點 | kubeadm、kubelet、kubectl、KeepAlived、 containerd、etcd、kube-apiserver、kube-scheduler、 kube-controller-manager、calico、WebUI、metrics、ingress、Longhorn ui節點 |
| worker01 | 172.24.8.114 | Kubernetes worker節點 | kubelet、containerd、calico、Longhorn存儲節點 |
| worker02 | 172.24.8.115 | Kubernetes worker節點 | kubelet、containerd、calico、Longhorn存儲節點 |
| worker03 | 172.24.8.116 | Kubernetes worker節點 | kubelet、containerd、calico、Longhorn存儲節點 |
| worker04 | 172.24.8.117 | Kubernetes worker節點 | kubelet、containerd、calico、Longhorn存儲節點 |
Kubernetes集羣高可用主要指的是控制平面的高可用，多個Master節點組件（通常爲奇數）和Etcd組件的高可用，worker節點通過前端負載均衡VIP連接到Master。
Kubernetes高可用架構中etcd與Master節點組件混合部署方式特點：
- 所需服務器節點資源少，具備超融合架構特點
- 部署簡單，利於管理
- 容易進行橫向擴展
- etcd複用Kubernetes的高可用
- 存在一定風險，如一臺master主機掛了，master和etcd都少了一個節點，集羣冗餘度受到一定影響
提示：本實驗使用Keepalived+Nginx架構實現Kubernetes的高可用。
主機名配置
需要對所有節點主機名進行相應配置。
[root@localhost ~]# hostnamectl set-hostname master01 #其他節點依次修改
生產環境通常建議在內網部署dns服務器，使用dns服務器進行解析，本指南採用本地hosts文件名進行解析。
如下hosts文件修改僅需在master01執行，後續使用批量分發至其他所有節點。
[root@master01 ~]# cat >> /etc/hosts << EOF
172.24.8.111 master01
172.24.8.112 master02
172.24.8.113 master03
172.24.8.114 worker01
172.24.8.115 worker02
172.24.8.116 worker03
EOF
變量準備
爲實現自動化部署，自動化分發相關文件，提前定義相關主機名、IP組、變量等。
[root@master01 ~]# wget http://down.linuxsb.com/mydeploy/k8s/v1.29.2/environment.sh
[root@master01 ~]# vi environment.sh #確認相關主機名和IP
#!/bin/sh
#****************************************************************#
# ScriptName: environment.sh
# Author: xhy
# Create Date: 2022-10-11 17:10
# Modify Author: xhy
# Modify Date: 2023-11-29 23:00
# Version: v1
#***************************************************************#
# 集羣 MASTER 機器 IP 數組
export MASTER_IPS=(172.24.8.111 172.24.8.112 172.24.8.113)
# 集羣 MASTER IP 對應的主機名數組
export MASTER_NAMES=(master01 master02 master03)
# 集羣 NODE 機器 IP 數組
export NODE_IPS=(172.24.8.114 172.24.8.115 172.24.8.116)
# 集羣 NODE IP 對應的主機名數組
export NODE_NAMES=(worker01 worker02 worker03)
# 集羣所有機器 IP 數組
export ALL_IPS=(172.24.8.111 172.24.8.112 172.24.8.113 172.24.8.114 172.24.8.115 172.24.8.116)
# 集羣所有IP 對應的主機名數組
export ALL_NAMES=(master01 master02 master03 worker01 worker02 worker03)
互信配置
爲了方便遠程分發文件和執行命令，本方案配置master01節點到其它節點的 ssh信任關係，即免祕鑰管理所有其他節點。
[root@master01 ~]# source environment.sh #載入變量
[root@master01 ~]# ssh-keygen -f ~/.ssh/id_rsa -N ''
[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
do
echo ">>> ${all_ip}"
ssh-copy-id -i ~/.ssh/id_rsa.pub root@${all_ip}
done
[root@master01 ~]# for all_name in ${ALL_NAMES[@]}
do
echo ">>> ${all_name}"
ssh-copy-id -i ~/.ssh/id_rsa.pub root@${all_name}
done
提示：此操作僅需要在master01節點操作。
環境初始化
kubeadm本身僅用於部署Kubernetes集羣，在正式使用kubeadm部署Kubernetes集羣之前需要對操作系統環境進行準備，即環境初始化準備。
環境的初始化準備本方案使用腳本自動完成。
使用如下腳本對基礎環境進行初始化，主要功能包括：
- 安裝containerd，Kubernetes平臺底層的容器組件
- 關閉SELinux及防火牆
- 優化相關內核參數，針對生產環境Kubernetes集羣的基礎系統調優配置
- 關閉swap
- 設置相關模塊，主要爲轉發模塊
- 配置相關基礎軟件，部署Kubernetes集羣所需要的基礎依賴包
[root@master01 ~]# wget http://down.linuxsb.com/mydeploy/k8s/v1.29.2/k8sconinit.sh
[root@master01 ~]# vim k8sconinit.sh
#!/bin/sh
#****************************************************************#
# ScriptName: k8sconinit.sh
# Author: xhy
# Create Date: 2020-05-30 16:30
# Modify Author: xhy
# Modify Date: 2024-02-28 22:38
# Version: v1
#***************************************************************#
# Initialize the machine. This needs to be executed on every machine.
rm -f /var/lib/rpm/__db.00*
rpm -vv --rebuilddb
#yum clean all
#yum makecache
sleep 3s
# Install containerd
CONVERSION=1.6.28
yum -y install yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sudo sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo
sleep 3s
yum -y install containerd.io-${CONVERSION}
mkdir /etc/containerd
cat > /etc/containerd/config.toml <<EOF
disabled_plugins = ["restart"]
[plugins.linux]
shim_debug = true
[plugin."io.containerd.grpc.v1.cri".registry.mirrors]
[plugin."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
endpoint = ["https://dbzucv6w.mirror.aliyuncs.com"]
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
SystemdCgroup = true
[plugins.cri]
sandbox_image = "registry.k8s.io/pause:3.9"
EOF
cat > /etc/crictl.yaml <<EOF
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 10
debug: false
EOF
systemctl restart containerd
systemctl enable containerd --now
systemctl status containerd
# Disable the SELinux.
sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
# Turn off and disable the firewalld.
systemctl stop firewalld
systemctl disable firewalld
# Modify related kernel parameters & Disable the swap.
cat > /etc/sysctl.d/k8s.conf << EOF
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.tcp_tw_recycle = 0
vm.swappiness = 0
vm.overcommit_memory = 1
vm.panic_on_oom = 0
net.ipv6.conf.all.disable_ipv6 = 1
EOF
sysctl -p /etc/sysctl.d/k8s.conf >&/dev/null
swapoff -a
sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
modprobe br_netfilter
modprobe overlay
# Add ipvs modules
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
modprobe -- nf_conntrack
modprobe -- br_netfilter
modprobe -- overlay
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules
bash /etc/sysconfig/modules/ipvs.modules
# Install rpm
yum install -y conntrack ipvsadm ipset jq iptables curl sysstat libseccomp wget iproute-tc
# Update kernel
# rpm --import http://down.linuxsb.com/RPM-GPG-KEY-elrepo.org
# rpm -Uvh http://down.linuxsb.com/elrepo-release-7.el7.elrepo.noarch.rpm
# mv -b /etc/yum.repos.d/elrepo.repo /etc/yum.repos.d/backup
# wget -c http://down.linuxsb.com/myoptions/elrepo7.repo -O /etc/yum.repos.d/elrepo.repo
# yum --disablerepo="*" --enablerepo="elrepo-kernel" install -y kernel-ml
# sed -i 's/^GRUB_DEFAULT=.*/GRUB_DEFAULT=0/' /etc/default/grub
# grub2-mkconfig -o /boot/grub2/grub.cfg
# yum -y --exclude=docker* update
# Reboot the machine.
# reboot
提示：此操作僅需要在master01節點操作。
- 對於某些特性，可能需要升級內核，內核升級操作見018.Linux升級內核。
- 4.19版及以上內核nf_conntrack_ipv4已經改爲nf_conntrack。
[root@master01 ~]# source environment.sh
[root@master01 ~]# chmod +x *.sh
[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
do
echo ">>> ${all_ip}"
scp -rp /etc/hosts root@${all_ip}:/etc/hosts
scp -rp k8sconinit.sh root@${all_ip}:/root/
ssh root@${all_ip} "bash /root/k8sconinit.sh"
done
部署高可用組件
HAProxy安裝
HAProxy是可提供高可用性、負載均衡以及基於TCP(從而可以反向代理kubeapiserver等應用)和HTTP應用的代理，支持虛擬主機，它是免費、快速並且可靠的一種高可用解決方案。
[root@master01 ~]# wget https://mirrors.huaweicloud.com/haproxy/2.9/src/haproxy-2.9.5.tar.gz
[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
do
echo ">>> ${master_ip}"
ssh root@${master_ip} "yum -y install gcc gcc-c++ make libnl3 libnl3-devel libnfnetlink openssl-devel wget openssh-clients systemd-devel zlib-devel pcre-devel"
scp -rp haproxy-2.9.5.tar.gz root@${master_ip}:/root/
ssh root@${master_ip} "tar -zxvf haproxy-2.9.5.tar.gz"
ssh root@${master_ip} "cd haproxy-2.9.5/ && make ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_ZLIB=1 USE_SYSTEMD=1 PREFIX=/usr/local/haprpxy && make install PREFIX=/usr/local/haproxy"
ssh root@${master_ip} "cp /usr/local/haproxy/sbin/haproxy /usr/sbin/"
ssh root@${master_ip} "useradd -r haproxy && usermod -G haproxy haproxy"
ssh root@${master_ip} "mkdir -p /etc/haproxy && mkdir -p /etc/haproxy/conf.d && cp -r /root/haproxy-2.9.5/examples/errorfiles/ /usr/local/haproxy/"
done
提示：Haproxy官方參考： https://docs.haproxy.org/ 。
KeepAlived安裝
KeepAlived 是一個基於VRRP協議來實現的LVS服務高可用方案，可以解決靜態路由出現的單點故障問題。
本方案3臺master節點均部署並運行Keepalived，一臺爲主服務器（MASTER），另外兩臺爲備份服務器（BACKUP）。
Master集羣外表現爲一個VIP，主服務器會發送特定的消息給備份服務器，當備份服務器收不到這個消息的時候，即主服務器宕機的時候，備份服務器就會接管虛擬IP，繼續提供服務，從而保證了高可用性。
[root@master01 ~]# wget https://www.keepalived.org/software/keepalived-2.2.8.tar.gz
[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
do
echo ">>> ${master_ip}"
ssh root@${master_ip} "yum -y install curl gcc gcc-c++ make libnl3 libnl3-devel libnfnetlink openssl-devel"
scp -rp keepalived-2.2.8.tar.gz root@${master_ip}:/root/
ssh root@${master_ip} "tar -zxvf keepalived-2.2.8.tar.gz"
ssh root@${master_ip} "cd keepalived-2.2.8/ && LDFLAGS=\"$LDFAGS -L /usr/local/openssl/lib/\" ./configure --sysconf=/etc --prefix=/usr/local/keepalived && make && make install"
ssh root@${master_ip} "systemctl enable keepalived"
done
提示：如上僅需Master01節點操作，從而實現所有節點自動化安裝。若出現如下報錯：undefined reference to `OPENSSL_init_ssl’，可帶上openssl lib路徑：
LDFLAGS="$LDFAGS -L /usr/local/openssl/lib/" ./configure --sysconf=/etc --prefix=/usr/local/keepalived
提示：KeepAlive官方參考： https://www.keepalived.org/manpage.html 。
創建配置文件
創建集羣部署所需的相關組件配置，採用腳本自動化創建相關配置文件。
[root@master01 ~]# wget http://down.linuxsb.com/mydeploy/k8s/v1.29.2/k8sconfig.sh #拉取自動部署腳本
[root@master01 ~]# vim k8sconfig.sh
#!/bin/sh
#****************************************************************#
# ScriptName: k8sconfig
# Author: xhy
# Create Date: 2022-06-08 20:00
# Modify Author: xhy
# Modify Date: 2024-02-25 23:57
# Version: v3
#***************************************************************#
#######################################
# set variables below to create the config files, all files will create at ./kubeadm directory
#######################################
# master keepalived virtual ip address
export K8SHA_VIP=172.24.8.100
# master01 ip address
export K8SHA_IP1=172.24.8.111
# master02 ip address
export K8SHA_IP2=172.24.8.112
# master03 ip address
export K8SHA_IP3=172.24.8.113
# master01 hostname
export K8SHA_HOST1=master01
# master02 hostname
export K8SHA_HOST2=master02
# master03 hostname
export K8SHA_HOST3=master03
# master01 network interface name
export K8SHA_NETINF1=eth0
# master02 network interface name
export K8SHA_NETINF2=eth0
# master03 network interface name
export K8SHA_NETINF3=eth0
# keepalived auth_pass config
export K8SHA_KEEPALIVED_AUTH=412f7dc3bfed32194d1600c483e10ad1d
# kubernetes CIDR pod subnet
export K8SHA_PODCIDR=10.10.0.0/16
# kubernetes CIDR svc subnet
export K8SHA_SVCCIDR=10.20.0.0/16
# kubernetes CIDR pod mtu
export K8SHA_PODMTU=1450
##############################
# please do not modify anything below
##############################
mkdir -p kubeadm/$K8SHA_HOST1/{keepalived,haproxy}
mkdir -p kubeadm/$K8SHA_HOST2/{keepalived,haproxy}
mkdir -p kubeadm/$K8SHA_HOST3/{keepalived,haproxy}
mkdir -p kubeadm/keepalived
mkdir -p kubeadm/haproxy
echo "create directory files success."
# wget all files
wget -c -P kubeadm/keepalived/ http://down.linuxsb.com/mydeploy/k8s/common/k8s-keepalived.conf.tpl
wget -c -P kubeadm/keepalived/ http://down.linuxsb.com/mydeploy/k8s/common/check_apiserver.sh
wget -c -P kubeadm/haproxy/ http://down.linuxsb.com/mydeploy/k8s/common/k8s-haproxy.cfg.tpl
wget -c -P kubeadm/haproxy/ http://down.linuxsb.com/mydeploy/k8s/common/k8s-haproxy.service
wget -c -P kubeadm/ http://down.linuxsb.com/mydeploy/k8s/v1.29.2/kubeadm-config.yaml.tpl
wget -c -P kubeadm/calico/ http://down.linuxsb.com/mydeploy/k8s/calico/v3.27.2/calico.yaml.tpl
wget -c -P kubeadm/ http://down.linuxsb.com/mydeploy/k8s/v1.29.2/k8simage.sh
echo "down files success."
# create all kubeadm-config.yaml files
sed \
-e "s/K8SHA_HOST1/${K8SHA_HOST1}/g" \
-e "s/K8SHA_HOST2/${K8SHA_HOST2}/g" \
-e "s/K8SHA_HOST3/${K8SHA_HOST3}/g" \
-e "s/K8SHA_IP1/${K8SHA_IP1}/g" \
-e "s/K8SHA_IP2/${K8SHA_IP2}/g" \
-e "s/K8SHA_IP3/${K8SHA_IP3}/g" \
-e "s/K8SHA_VIP/${K8SHA_VIP}/g" \
-e "s!K8SHA_PODCIDR!${K8SHA_PODCIDR}!g" \
-e "s!K8SHA_SVCCIDR!${K8SHA_SVCCIDR}!g" \
kubeadm/kubeadm-config.yaml.tpl > kubeadm/kubeadm-config.yaml
echo "create kubeadm-config.yaml files success."
# create all keepalived files
chmod u+x kubeadm/keepalived/check_apiserver.sh
cp kubeadm/keepalived/check_apiserver.sh kubeadm/$K8SHA_HOST1/keepalived
cp kubeadm/keepalived/check_apiserver.sh kubeadm/$K8SHA_HOST2/keepalived
cp kubeadm/keepalived/check_apiserver.sh kubeadm/$K8SHA_HOST3/keepalived
sed \
-e "s/K8SHA_KA_STATE/BACKUP/g" \
-e "s/K8SHA_KA_INTF/${K8SHA_NETINF1}/g" \
-e "s/K8SHA_IPLOCAL/${K8SHA_IP1}/g" \
-e "s/K8SHA_KA_PRIO/102/g" \
-e "s/K8SHA_VIP/${K8SHA_VIP}/g" \
-e "s/K8SHA_KA_AUTH/${K8SHA_KEEPALIVED_AUTH}/g" \
kubeadm/keepalived/k8s-keepalived.conf.tpl > kubeadm/$K8SHA_HOST1/keepalived/keepalived.conf
sed \
-e "s/K8SHA_KA_STATE/BACKUP/g" \
-e "s/K8SHA_KA_INTF/${K8SHA_NETINF2}/g" \
-e "s/K8SHA_IPLOCAL/${K8SHA_IP2}/g" \
-e "s/K8SHA_KA_PRIO/101/g" \
-e "s/K8SHA_VIP/${K8SHA_VIP}/g" \
-e "s/K8SHA_KA_AUTH/${K8SHA_KEEPALIVED_AUTH}/g" \
kubeadm/keepalived/k8s-keepalived.conf.tpl > kubeadm/$K8SHA_HOST2/keepalived/keepalived.conf
sed \
-e "s/K8SHA_KA_STATE/BACKUP/g" \
-e "s/K8SHA_KA_INTF/${K8SHA_NETINF3}/g" \
-e "s/K8SHA_IPLOCAL/${K8SHA_IP3}/g" \
-e "s/K8SHA_KA_PRIO/100/g" \
-e "s/K8SHA_VIP/${K8SHA_VIP}/g" \
-e "s/K8SHA_KA_AUTH/${K8SHA_KEEPALIVED_AUTH}/g" \
kubeadm/keepalived/k8s-keepalived.conf.tpl > kubeadm/$K8SHA_HOST3/keepalived/keepalived.conf
echo "create keepalived files success. kubeadm/$K8SHA_HOST1/keepalived/"
echo "create keepalived files success. kubeadm/$K8SHA_HOST2/keepalived/"
echo "create keepalived files success. kubeadm/$K8SHA_HOST3/keepalived/"
# create all haproxy files
sed \
-e "s/K8SHA_IP1/$K8SHA_IP1/g" \
-e "s/K8SHA_IP2/$K8SHA_IP2/g" \
-e "s/K8SHA_IP3/$K8SHA_IP3/g" \
-e "s/K8SHA_HOST1/$K8SHA_HOST1/g" \
-e "s/K8SHA_HOST2/$K8SHA_HOST2/g" \
-e "s/K8SHA_HOST3/$K8SHA_HOST3/g" \
kubeadm/haproxy/k8s-haproxy.cfg.tpl > kubeadm/haproxy/haproxy.conf
echo "create haproxy files success. kubeadm/$K8SHA_HOST1/haproxy/"
echo "create haproxy files success. kubeadm/$K8SHA_HOST2/haproxy/"
echo "create haproxy files success. kubeadm/$K8SHA_HOST3/haproxy/"
# create calico yaml file
sed \
-e "s!K8SHA_PODCIDR!${K8SHA_PODCIDR}!g" \
-e "s!K8SHA_PODMTU!${K8SHA_PODMTU}!g" \
kubeadm/calico/calico.yaml.tpl > kubeadm/calico/calico.yaml
echo "create calico file success."
# scp all file
scp -rp kubeadm/haproxy/haproxy.conf root@$K8SHA_HOST1:/etc/haproxy/haproxy.cfg
scp -rp kubeadm/haproxy/haproxy.conf root@$K8SHA_HOST2:/etc/haproxy/haproxy.cfg
scp -rp kubeadm/haproxy/haproxy.conf root@$K8SHA_HOST3:/etc/haproxy/haproxy.cfg
scp -rp kubeadm/haproxy/k8s-haproxy.service root@$K8SHA_HOST1:/usr/lib/systemd/system/haproxy.service
scp -rp kubeadm/haproxy/k8s-haproxy.service root@$K8SHA_HOST2:/usr/lib/systemd/system/haproxy.service
scp -rp kubeadm/haproxy/k8s-haproxy.service root@$K8SHA_HOST3:/usr/lib/systemd/system/haproxy.service
scp -rp kubeadm/$K8SHA_HOST1/keepalived/* root@$K8SHA_HOST1:/etc/keepalived/
scp -rp kubeadm/$K8SHA_HOST2/keepalived/* root@$K8SHA_HOST2:/etc/keepalived/
scp -rp kubeadm/$K8SHA_HOST3/keepalived/* root@$K8SHA_HOST3:/etc/keepalived/
echo "scp haproxy & keepalived file success."
# chmod *.sh
chmod u+x kubeadm/*.sh
[root@master01 ~]# bash k8sconfig.sh
解釋：如上僅需Master01節點操作。執行k8sconfig.sh腳本後會生產如下配置文件清單：
- kubeadm-config.yaml：kubeadm初始化配置文件，位於kubeadm/目錄，可參考 kubeadm 配置
- keepalived：keepalived配置文件，位於各個master節點的/etc/keepalived目錄
- haproxy：haproxy的配置文件，位於各個master節點的/etc/haproxy/目錄
- calico.yaml：calico網絡組件部署文件，位於kubeadm/calico/目錄
[root@master01 ~]# vim kubeadm/kubeadm-config.yaml #檢查集羣初始化配置
---
apiVersion: kubeadm.k8s.io/v1beta3
kind: ClusterConfiguration
networking:
serviceSubnet: "10.20.0.0/16" #設置svc網段
podSubnet: "10.10.0.0/16" #設置Pod網段
dnsDomain: "cluster.local"
kubernetesVersion: "v1.29.2" #設置安裝版本
controlPlaneEndpoint: "172.24.8.100:16443" #設置相關API VIP地址
apiServer:
certSANs:
- 127.0.0.1
- master01
- master02
- master03
- 172.24.8.111
- 172.24.8.112
- 172.24.8.113
- 172.24.8.100
timeoutForControlPlane: 4m0s
certificatesDir: "/etc/kubernetes/pki"
imageRepository: "registry.k8s.io"
#clusterName: "example-cluster"
---
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
cgroupDriver: systemd
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs
提示：如上僅需Master01節點操作，更多config文件參考：kubeadm 配置 (v1beta3)
默認kubeadm配置可使用kubeadm config print init-defaults > config.yaml生成。
啓動服務
啓動keepalive和HAProxy服務，從而構建master節點的高可用。
- 檢查服務配置
[root@master01 ~]# cat /etc/keepalived/keepalived.conf #所有節點確認相關keepalive配置文件
! Configuration File for keepalived
global_defs {
router_id LVS_DEVEL
script_user root
enable_script_security
}
vrrp_script check_apiserver {
script "/etc/keepalived/check_apiserver.sh"
interval 5
weight -60
fall 2
rise 2
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
mcast_src_ip 172.24.8.111
virtual_router_id 51
priority 102
advert_int 5
authentication {
auth_type PASS
auth_pass 412f7dc3bfed32194d1600c483e10ad1d
}
virtual_ipaddress {
172.24.8.100
}
track_script {
check_apiserver
}
}
[root@master01 ~]# cat /etc/keepalived/check_apiserver.sh #所有節點確認相關keepalive監測腳本文件
#!/bin/bash
# if check error then repeat check for 12 times, else exit
err=0
for k in $(seq 1 12)
do
check_code=$(curl -k https://localhost:6443)
if [[ $check_code == "" ]]; then
err=$(expr $err + 1)
sleep 5
continue
else
err=0
break
fi
done
if [[ $err != "0" ]]; then
# if apiserver is down send SIG=1
echo 'apiserver error!'
exit 1
else
# if apiserver is up send SIG=0
echo 'apiserver normal!'
exit 0
fi
- 啓動高可用服務
[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
do
echo ">>> ${master_ip}"
ssh root@${master_ip} "systemctl enable haproxy.service --now && systemctl restart haproxy.service"
ssh root@${master_ip} "systemctl enable keepalived.service --now && systemctl restart keepalived.service"
ssh root@${master_ip} "systemctl status keepalived.service | grep Active"
ssh root@${master_ip} "systemctl status haproxy.service | grep Active"
done
[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
do
echo ">>> ${all_ip}"
ssh root@${all_ip} "ping -c1 172.24.8.100"
done #等待10s執行檢查
提示：如上僅需Master01節點操作，從而實現所有節點自動啓動服務。
集羣部署
相關組件包
需要在每臺機器上都安裝以下的軟件包：
- kubeadm: 用來初始化集羣的指令；
- kubelet: 在集羣中的每個節點上用來啓動 pod 和 container 等；
- kubectl: 用來與集羣通信的命令行工具。
kubeadm不能安裝或管理 kubelet 或 kubectl ，因此在初始化集羣之前必須完成kubelet和kubectl的安裝，且能保證他們滿足通過 kubeadm 安裝的 Kubernetes控制層對版本的要求。
如果版本沒有滿足匹配要求，可能導致一些意外錯誤或問題。
具體相關組件安裝見；附001.kubectl介紹及使用書
提示：Kubernetes 1.29.2版本所有兼容相應組件的版本參考：https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.29.md 。
正式安裝
快速安裝所有節點的kubeadm、kubelet、kubectl組件。
[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
do
echo ">>> ${all_ip}"
ssh root@${all_ip} "cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.29/rpm/
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.29/rpm/repodata/repomd.xml.key
EOF"
ssh root@${all_ip} "yum install -y kubelet-1.29.2-150500.1.1 kubectl-1.29.2-150500.1.1 --disableexcludes=kubernetes"
ssh root@${all_ip} "yum install -y kubeadm-1.29.2-150500.1.1 --disableexcludes=kubernetes"
ssh root@${all_ip} "systemctl enable kubelet"
done
[root@master01 ~]# yum search -y kubelet --showduplicates #查看相應版本
提示：如上僅需Master01節點操作，從而實現所有節點自動化安裝，同時此時不需要啓動kubelet，初始化的過程中會自動啓動的，如果此時啓動了會出現報錯，忽略即可。
說明：同時安裝了cri-tools, kubernetes-cni, socat三個依賴：
socat：kubelet的依賴；
cri-tools：即CRI(Container Runtime Interface)容器運行時接口的命令行工具。
集羣初始化
拉取鏡像
初始化過程中會pull大量鏡像，並且鏡像位於國外，可能出現無法pull的情況導致Kubernetes初始化失敗。建議提前準備鏡像，保證後續初始化。
[root@master01 ~]# kubeadm --kubernetes-version=v1.29.2 config images list #列出所需鏡像
[root@master01 ~]# vim kubeadm/k8simage.sh
#!/bin/sh
#****************************************************************#
# ScriptName: k8simage.sh
# Author: xhy
# Create Date: 2023-02-10 14:47
# Modify Author: xhy
# Modify Date: 2024-03-01 00:23
# Version:
#***************************************************************#
KUBE_VERSION=v1.29.2
KUBE_PAUSE_VERSION=3.9
ETCD_VERSION=3.5.10-0
CORE_DNS_VERSION=v1.11.1
K8S_URL=registry.k8s.io
#GCR_URL=k8s.gcr.io
UCLOUD_URL=uhub.service.ucloud.cn/imxhy
LONGHORN_URL=longhornio
CALICO_URL='docker.io/calico'
CALICO_VERSION=v3.27.2
METRICS_SERVER_VERSION=v0.7.0
INGRESS_VERSION=v1.9.6
INGRESS_WEBHOOK_VERSION=v20231226-1a7112e06
LONGHORN_VERSION=v1.6.0
LONGHORN_VERSION2=v0.0.33
CSI_ATTACHER_VERSION=v4.4.2
CSI_NODE_DRIVER_VERSION=v2.9.2
CSI_PROVISIONER_VERSION=v3.6.2
CSI_RESIZER_VERSION=v1.9.2
CSI_SNAP_VERSION=v6.3.2
CSI_LIVE_VERSION=v2.11.0
#DEFAULTBACKENDVERSION=1.5
mkdir -p k8simages/
# config node hostname
export ALL_IPS=(master02 master03 worker01 worker02 worker03)
kubeimages=(kube-proxy:${KUBE_VERSION}
kube-scheduler:${KUBE_VERSION}
kube-controller-manager:${KUBE_VERSION}
kube-apiserver:${KUBE_VERSION}
pause:${KUBE_PAUSE_VERSION}
etcd:${ETCD_VERSION}
)
for kubeimageName in ${kubeimages[@]} ; do
echo ${kubeimageName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${kubeimageName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${kubeimageName} ${K8S_URL}/${kubeimageName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${kubeimageName}
ctr -n k8s.io images export k8simages/${kubeimageName}\.tar ${K8S_URL}/${kubeimageName}
done
corednsimages=(coredns:${CORE_DNS_VERSION}
)
for corednsimageName in ${corednsimages[@]} ; do
echo ${corednsimageName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${corednsimageName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${corednsimageName} ${K8S_URL}/coredns/${corednsimageName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${corednsimageName}
ctr -n k8s.io images export k8simages/${corednsimageName}\.tar ${K8S_URL}/coredns/${corednsimageName}
done
metricsimages=(metrics-server:${METRICS_SERVER_VERSION})
for metricsimageName in ${metricsimages[@]} ; do
echo ${metricsimageName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${metricsimageName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${metricsimageName} ${K8S_URL}/metrics-server/${metricsimageName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${metricsimageName}
ctr -n k8s.io images export k8simages/${metricsimageName}\.tar ${K8S_URL}/metrics-server/${metricsimageName}
done
calimages=(cni:${CALICO_VERSION}
node:${CALICO_VERSION}
kube-controllers:${CALICO_VERSION})
for calimageName in ${calimages[@]} ; do
echo ${calimageName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${calimageName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${calimageName} ${CALICO_URL}/${calimageName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${calimageName}
ctr -n k8s.io images export k8simages/${calimageName}\.tar ${CALICO_URL}/${calimageName}
done
ingressimages=(controller:${INGRESS_VERSION}
kube-webhook-certgen:${INGRESS_WEBHOOK_VERSION}
)
for ingressimageName in ${ingressimages[@]} ; do
echo ${ingressimageName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${ingressimageName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${ingressimageName} ${K8S_URL}/ingress-nginx/${ingressimageName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${ingressimageName}
ctr -n k8s.io images export k8simages/${ingressimageName}\.tar ${K8S_URL}/ingress-nginx/${ingressimageName}
done
longhornimages01=(longhorn-engine:${LONGHORN_VERSION}
longhorn-instance-manager:${LONGHORN_VERSION}
longhorn-manager:${LONGHORN_VERSION}
longhorn-ui:${LONGHORN_VERSION}
backing-image-manager:${LONGHORN_VERSION}
longhorn-share-manager:${LONGHORN_VERSION}
)
for longhornimageNameA in ${longhornimages01[@]} ; do
echo ${longhornimageNameA}
ctr -n k8s.io images pull ${UCLOUD_URL}/${longhornimageNameA}
ctr -n k8s.io images tag ${UCLOUD_URL}/${longhornimageNameA} ${LONGHORN_URL}/${longhornimageNameA}
ctr -n k8s.io images rm ${UCLOUD_URL}/${longhornimageNameA}
ctr -n k8s.io images export k8simages/${longhornimageNameA}\.tar ${LONGHORN_URL}/${longhornimageNameA}
done
longhornimages02=(support-bundle-kit:${LONGHORN_VERSION2})
for longhornimageNameB in ${longhornimages02[@]} ; do
echo ${longhornimageNameB}
ctr -n k8s.io images pull ${UCLOUD_URL}/${longhornimageNameB}
ctr -n k8s.io images tag ${UCLOUD_URL}/${longhornimageNameB} ${LONGHORN_URL}/${longhornimageNameB}
ctr -n k8s.io images rm ${UCLOUD_URL}/${longhornimageNameB}
ctr -n k8s.io images export k8simages/${longhornimageNameB}\.tar ${LONGHORN_URL}/${longhornimageNameB}
done
csiimages=(csi-attacher:${CSI_ATTACHER_VERSION}
csi-node-driver-registrar:${CSI_NODE_DRIVER_VERSION}
csi-provisioner:${CSI_PROVISIONER_VERSION}
csi-resizer:${CSI_RESIZER_VERSION}
csi-snapshotter:${CSI_SNAP_VERSION}
livenessprobe:${CSI_LIVE_VERSION}
)
for csiimageName in ${csiimages[@]} ; do
echo ${csiimageName}
ctr -n k8s.io images pull ${UCLOUD_URL}/${csiimageName}
ctr -n k8s.io images tag ${UCLOUD_URL}/${csiimageName} ${LONGHORN_URL}/${csiimageName}
ctr -n k8s.io images rm ${UCLOUD_URL}/${csiimageName}
ctr -n k8s.io images export k8simages/${csiimageName}\.tar ${LONGHORN_URL}/${csiimageName}
done
#otherimages=(defaultbackend-amd64:${DEFAULTBACKENDVERSION})
#for otherimagesName in ${otherimages[@]} ; do
#echo ${otherimagesName}
#ctr -n k8s.io images pull ${UCLOUD_URL}/${otherimagesName}
#ctr -n k8s.io images tag ${UCLOUD_URL}/${otherimagesName} ${K8S_URL}/${otherimagesName}
#ctr -n k8s.io images rm ${UCLOUD_URL}/${otherimagesName}
#ctr -n k8s.io images export k8simages/${otherimagesName}\.tar ${K8S_URL}/${otherimagesName}
#done
#
allimages=(kube-proxy:${KUBE_VERSION}
kube-scheduler:${KUBE_VERSION}
kube-controller-manager:${KUBE_VERSION}
kube-apiserver:${KUBE_VERSION}
pause:${KUBE_PAUSE_VERSION}
etcd:${ETCD_VERSION}
coredns:${CORE_DNS_VERSION}
metrics-server:${METRICS_SERVER_VERSION}
cni:${CALICO_VERSION}
node:${CALICO_VERSION}
kube-controllers:${CALICO_VERSION}
controller:${INGRESS_VERSION}
kube-webhook-certgen:${INGRESS_WEBHOOK_VERSION}
longhorn-engine:${LONGHORN_VERSION}
longhorn-instance-manager:${LONGHORN_VERSION}
longhorn-manager:${LONGHORN_VERSION}
longhorn-ui:${LONGHORN_VERSION}
backing-image-manager:${LONGHORN_VERSION}
longhorn-share-manager:${LONGHORN_VERSION}
support-bundle-kit:${LONGHORN_VERSION2}
csi-attacher:${CSI_ATTACHER_VERSION}
csi-node-driver-registrar:${CSI_NODE_DRIVER_VERSION}
csi-provisioner:${CSI_PROVISIONER_VERSION}
csi-resizer:${CSI_RESIZER_VERSION}
csi-snapshotter:${CSI_SNAP_VERSION}
livenessprobe:${CSI_LIVE_VERSION}
defaultbackend-amd64:${DEFAULTBACKENDVERSION}
)
for all_ip in ${ALL_IPS[@]}
do
echo ">>> ${all_ip}"
ssh root@${all_ip} "mkdir /root/k8simages"
scp -rp k8simages/* root@${all_ip}:/root/k8simages/
done
for allimageName in ${allimages[@]}
do
for all_ip in ${ALL_IPS[@]}
do
echo "${allimageName} copy to ${all_ip}"
ssh root@${all_ip} "ctr -n k8s.io images import k8simages/${allimageName}\.tar"
done
done
[root@master01 ~]# bash kubeadm/k8simage.sh #確認版本，提前下載鏡像
提示：如上僅需Master01節點操作，從而實現所有節點鏡像的分發。
注意相關版本，如上腳本爲v1.29.2 Kubernetes版本所需鏡像。
[root@master01 ~]# ctr -n k8s.io images ls #確認驗證
[root@master02 ~]# crictl images ls
IMAGE TAG IMAGE ID SIZE
docker.io/calico/cni v3.27.2 bbf4b051c5078 88.2MB
docker.io/calico/kube-controllers v3.27.2 849ce09815546 33.4MB
docker.io/calico/node v3.27.2 50df0b2eb8ffe 117MB
docker.io/kubernetesui/dashboard-api v1.0.0 3ae476f39dc51 21.6MB
docker.io/kubernetesui/dashboard-web v1.0.0 68ccbbbd48e89 56.1MB
docker.io/longhornio/backing-image-manager v1.6.0 fd4639eeb10a1 131MB
docker.io/longhornio/csi-attacher v4.4.2 6bc8bdd63e408 26.7MB
docker.io/longhornio/csi-node-driver-registrar v2.9.2 438c692b0cb6d 10.8MB
docker.io/longhornio/csi-provisioner v3.6.2 ec9b939801797 28.7MB
docker.io/longhornio/csi-resizer v1.9.2 d11bd1f0b3e57 27MB
docker.io/longhornio/csi-snapshotter v6.3.2 118137d698bbd 26.8MB
docker.io/longhornio/livenessprobe v2.11.0 494ea5379400e 9.69MB
docker.io/longhornio/longhorn-engine v1.6.0 f772ce9ba10a4 136MB
docker.io/longhornio/longhorn-instance-manager v1.6.0 2e4eb3ba8dca0 269MB
docker.io/longhornio/longhorn-manager v1.6.0 9f4c1b666bd8c 111MB
docker.io/longhornio/longhorn-share-manager v1.6.0 e561f36d6e02b 79.2MB
docker.io/longhornio/longhorn-ui v1.6.0 efa6d3d087772 73.2MB
docker.io/longhornio/support-bundle-kit v0.0.33 29c0bdda32275 126MB
registry.k8s.io/coredns/coredns v1.11.1 cbb01a7bd410d 18.2MB
registry.k8s.io/etcd 3.5.10-0 a0eed15eed449 56.6MB
registry.k8s.io/ingress-nginx/controller v1.9.6 2bdab7410148a 105MB
registry.k8s.io/ingress-nginx/kube-webhook-certgen v20231226-1a7112e06 eb825d2bb76b9 23.1MB
registry.k8s.io/kube-apiserver v1.29.2 8a9000f98a528 35.1MB
registry.k8s.io/kube-controller-manager v1.29.2 138fb5a3a2e34 33.4MB
registry.k8s.io/kube-proxy v1.29.2 9344fce2372f8 28.4MB
registry.k8s.io/kube-scheduler v1.29.2 6fc5e6b7218c7 18.5MB
registry.k8s.io/metrics-server/metrics-server v0.7.0 b9a5a1927366a 19.4MB
registry.k8s.io/pause 3.9 e6f1816883972 319kB
Master01上初始化
Master01節點上執行初始化，即完成單節點的Kubernetes，其他節點採用添加的方式部署。
[root@master01 ~]# kubeadm init --config=kubeadm/kubeadm-config.yaml --upload-certs #保留如下命令用於後續節點添加
[init] Using Kubernetes version: v1.29.2
[preflight] Running pre-flight checks
……
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
Alternatively, if you are the root user, you can run:
export KUBECONFIG=/etc/kubernetes/admin.conf
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
You can now join any number of the control-plane node running the following command on each as root:
kubeadm join 172.24.8.100:16443 --token giufgc.znr68fr73yepqhsf \
--discovery-token-ca-cert-hash sha256:6c98b18f62cfeec929e8aaa20b9723cdcdc0ad3ceb93989ac7a80ae66a54b3e3 \
--control-plane --certificate-key ded93dc0499173f5feba1fa30b63a20c272d3188b97b1ee3860b21e90da9f09b
Please note that the certificate-key gives access to cluster sensitive data, keep it secret!
As a safeguard, uploaded-certs will be deleted in two hours; If necessary, you can use
"kubeadm init phase upload-certs --upload-certs" to reload certs afterward.
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 172.24.8.100:16443 --token giufgc.znr68fr73yepqhsf \
--discovery-token-ca-cert-hash sha256:6c98b18f62cfeec929e8aaa20b9723cdcdc0ad3ceb93989ac7a80ae66a54b3e3
注意：如上token具有默認24小時的有效期，token和hash值可通過如下方式獲取：
kubeadm token list
如果 Token 過期以後，可以輸入以下命令，生成新的 Token:
kubeadm token create
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
創建相關Kubernetes集羣配置文件保存目錄。
[root@master01 ~]# mkdir -p $HOME/.kube
[root@master01 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master01 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
[root@master01 ~]# cat << EOF >> ~/.bashrc
export KUBECONFIG=$HOME/.kube/config
EOF #設置KUBECONFIG環境變量
[root@master01 ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc
[root@master01 ~]# source ~/.bashrc
附加：初始化過程大致步驟如下：
- [certs]：生成相關的各種證書
- [control-plane]：創建Kubernetes控制節點的靜態Pod
- [etcd]：創建ETCD的靜態Pod
- [kubelet-start]：生成kubelet的配置文件”/var/lib/kubelet/config.yaml”
- [kubeconfig]：生成相關的kubeconfig文件
- [bootstraptoken]：生成token記錄下來，後續使用kubeadm join往集羣中添加節點時會用到
- [addons]：附帶的相關插件
提示：初始化僅需要在master01上執行，若初始化異常可通過kubeadm reset -f kubeadm/kubeadm-config.yaml && rm -rf $HOME/.kube /etc/cni/ /etc/kubernetes/重置。
添加Master節點
採用 kubeadm join 將其他Master節點添加至集羣。
[root@master02 ~]# kubeadm join 172.24.8.100:16443 --token giufgc.znr68fr73yepqhsf \
--discovery-token-ca-cert-hash sha256:6c98b18f62cfeec929e8aaa20b9723cdcdc0ad3ceb93989ac7a80ae66a54b3e3 \
--control-plane --certificate-key ded93dc0499173f5feba1fa30b63a20c272d3188b97b1ee3860b21e90da9f09b
[root@master02 ~]# mkdir -p $HOME/.kube
[root@master02 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master02 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
[root@master02 ~]# cat << EOF >> ~/.bashrc
export KUBECONFIG=$HOME/.kube/config
EOF #設置KUBECONFIG環境變量
[root@master02 ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc
[root@master02 ~]# source ~/.bashrc
提示：master03也如上操作，添加至當前集羣的controlplane。
若添加異常可通過kubeadm reset -f kubeadm/kubeadm-config.yaml && rm -rf $HOME/.kube /etc/cni/ /etc/kubernetes/重置。
安裝NIC插件
NIC插件介紹
- Calico 是一個安全的 L3 網絡和網絡策略提供者。
- Canal 結合 Flannel 和 Calico， 提供網絡和網絡策略。
- Cilium 是一個 L3 網絡和網絡策略插件， 能夠透明的實施 HTTP/API/L7 策略。 同時支持路由（routing）和疊加/封裝（ overlay/encapsulation）模式。
- Contiv 爲多種用例提供可配置網絡（使用 BGP 的原生 L3，使用 vxlan 的 overlay，經典 L2 和 Cisco-SDN/ACI）和豐富的策略框架。Contiv 項目完全開源。安裝工具同時提供基於和不基於 kubeadm 的安裝選項。
- Flannel 是一個可以用於 Kubernetes 的 overlay 網絡提供者。
+Romana 是一個 pod 網絡的層 3 解決方案，並且支持 NetworkPolicy API。Kubeadm add-on 安裝細節可以在這裏找到。 - Weave Net 提供了在網絡分組兩端參與工作的網絡和網絡策略，並且不需要額外的數據庫。
- CNI-Genie 使 Kubernetes 無縫連接到一種 CNI 插件，例如：Flannel、Calico、Canal、Romana 或者 Weave。
提示：本方案使用Calico插件。
部署calico
確認相關配置，如MTU，網卡接口，Pod的IP地址段。
calico原文件可參考官方：https://raw.githubusercontent.com/projectcalico/calico/v3.27.2/manifests/calico.yaml
[root@master01 ~]# vim kubeadm/calico/calico.yaml #檢查配置
……
data:
……
veth_mtu: "1400"
……
- name: CALICO_IPV4POOL_CIDR
value: "10.10.0.0/16" #配置Pod網段
……
- name: IP_AUTODETECTION_METHOD
value: "interface=eth.*" #檢查節點之間的網卡
……
[root@master01 ~]# kubectl apply -f kubeadm/calico/calico.yaml
[root@master01 ~]# kubectl get pods --all-namespaces -o wide #查看部署的所有Pod
NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
kube-system calico-kube-controllers-674fff74c8-grp94 1/1 Running 0 55s 10.10.59.193 master02 <none> <none>
kube-system calico-node-8gs4l 1/1 Running 0 55s 172.24.8.113 master03 <none> <none>
kube-system calico-node-gvwwx 1/1 Running 0 55s 172.24.8.112 master02 <none> <none>
kube-system calico-node-k8vxv 1/1 Running 0 55s 172.24.8.111 master01 <none> <none>
kube-system coredns-5d78c9869d-9s2dv 1/1 Running 0 3m20s 10.10.59.194 master02 <none> <none>
kube-system coredns-5d78c9869d-bxp4z 1/1 Running 0 3m20s 10.10.59.195 master02 <none> <none>
kube-system etcd-master01 1/1 Running 0 3m33s 172.24.8.111 master01 <none> <none>
kube-system etcd-master02 1/1 Running 0 113s 172.24.8.112 master02 <none> <none>
kube-system etcd-master03 1/1 Running 0 93s 172.24.8.113 master03 <none> <none>
kube-system kube-apiserver-master01 1/1 Running 0 3m34s 172.24.8.111 master01 <none> <none>
kube-system kube-apiserver-master02 1/1 Running 0 113s 172.24.8.112 master02 <none> <none>
kube-system kube-apiserver-master03 1/1 Running 0 92s 172.24.8.113 master03 <none> <none>
kube-system kube-controller-manager-master01 1/1 Running 0 3m33s 172.24.8.111 master01 <none> <none>
kube-system kube-controller-manager-master02 1/1 Running 0 105s 172.24.8.112 master02 <none> <none>
kube-system kube-controller-manager-master03 1/1 Running 0 97s 172.24.8.113 master03 <none> <none>
kube-system kube-proxy-6hwzb 1/1 Running 0 68s 172.24.8.113 master03 <none> <none>
kube-system kube-proxy-sx5b7 1/1 Running 0 114s 172.24.8.112 master02 <none> <none>
kube-system kube-proxy-ww744 1/1 Running 0 3m20s 172.24.8.111 master01 <none> <none>
kube-system kube-scheduler-master01 1/1 Running 0 3m33s 172.24.8.111 master01 <none> <none>
kube-system kube-scheduler-master02 1/1 Running 0 97s 172.24.8.112 master02 <none> <none>
kube-system kube-scheduler-master03 1/1 Running 0 90s 172.24.8.113 master03 <none> <none>
[root@master01 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master01 Ready control-plane 3m37s v1.29.2
master02 Ready control-plane 117s v1.29.2
master03 Ready control-plane 116s v1.29.2
提示：官方calico參考：https://docs.projectcalico.org/manifests/calico.yaml
修改node端口範圍
Kubernetes默認的端口範圍爲30000-32767，爲便於後期大量的應用，如ingress的80、443端口，可開放全端口。
同時開放全端口範圍後，使用的時候需要注意避開公共端口，如8080。
[root@master01 ~]# vi /etc/kubernetes/manifests/kube-apiserver.yaml #追加端口開放配置
……
- --service-node-port-range=1-65535
……
提示：如上需要在所有Master節點操作。
添加Worker節點
添加Worker節點
[root@master01 ~]# source environment.sh
[root@master01 ~]# for node_ip in ${NODE_IPS[@]}
do
echo ">>> ${node_ip}"
ssh root@${node_ip} "kubeadm join 172.24.8.100:16443 --token giufgc.znr68fr73yepqhsf \
--discovery-token-ca-cert-hash sha256:6c98b18f62cfeec929e8aaa20b9723cdcdc0ad3ceb93989ac7a80ae66a54b3e3"
ssh root@${node_ip} "systemctl enable kubelet.service"
done
提示：如上僅需Master01節點操作，從而實現所有Worker節點添加至集羣，若添加異常可通過如下方式重置：
[root@worker01 ~]# kubeadm reset
[root@worker01 ~]# ifconfig cni0 down
[root@worker01 ~]# ip link delete cni0
[root@worker01 ~]# ifconfig flannel.1 down
[root@worker01 ~]# ip link delete flannel.1
[root@worker01 ~]# rm -rf /var/lib/cni/
確認驗證
[root@master01 ~]# kubectl get nodes #節點狀態
[root@master01 ~]# kubectl get cs #組件狀態
[root@master01 ~]# kubectl get serviceaccount #服務賬戶
[root@master01 ~]# kubectl cluster-info #集羣信息
[root@master01 ~]# kubectl get pod -n kube-system -o wide #所有服務狀態
提示：更多Kubetcl使用參考：https://kubernetes.io/docs/reference/kubectl/kubectl/
https://kubernetes.io/docs/reference/kubectl/overview/
更多kubeadm使用參考：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
Metrics部署
Metrics介紹
Kubernetes的早期版本依靠Heapster來實現完整的性能數據採集和監控功能，Kubernetes從1.8版本開始，性能數據開始以Metrics API的方式提供標準化接口，並且從1.10版本開始將Heapster替換爲Metrics Server。在Kubernetes新的監控體系中，Metrics Server用於提供核心指標（Core Metrics），包括Node、Pod的CPU和內存使用指標。
Metrics Server從Kubelets收集資源指標，並通過Metrics API將其暴露在Kubernetes apiserver中，以供Horizontal Pod Autoscaler和Vertical Pod Autoscaler使用。還可以通過kubectl top方式訪問Metrics API。
對其他自定義指標（Custom Metrics）的監控則由Prometheus等組件來完成。
Metrics特點
Metrics Server主要特點:
- 在大多數集羣上可以以單Pod工作；
- 快速自動伸縮，且每15秒收集一次指標；
- 資源消耗極低，在集羣中每個節點上僅需1分片CPU和2 MB內存；
- 可擴展支持最多5000個節點集羣。
Metrics需求
Metrics Server對集羣和網絡配置有特定的需求依賴，這些需求依賴並不是所有集羣默認開啓的。
在使用Metrics Server之前，需要確保集羣支持這些需求：
- kube-apiserver必須啓用聚合層（aggregation layer）；
- 節點必須啓用Webhook身份驗證和授權；
- Kubelet證書需要由集羣證書頒發機構簽名(或者通過向Metrics Server傳遞--kubelet-insecure-tls禁用證書驗證)；
- 容器運行時必須實現容器度量rpc(或有cAdvisor支持)；
- 網絡應支持以下通信:
- 控制平面到Metrics Server通信要求：控制平面節點需要到達Metrics Server的pod IP和端口10250(如果hostNetwork開啓，則可以是自定義的node IP和對應的自定義端口，保持通信即可）；
- Metrics Server到所有節點的Kubelete通信要求：Metrics Server需要到達node節點地址和Kubelet端口。地址和端口在Kubelet中配置，並作爲Node對象的一部分發布。.status.address和.status.daemonEndpoints.kubeletEndpoint.port定義地址和端口（默認10250）。Metrics Server將根據kubelet-preferred-address-types命令行標誌提供的列表選擇第一個節點地址（默認InternalIP，ExternalIP，Hostname）。
開啓聚合層
有關聚合層知識參考：https://blog.csdn.net/liukuan73/article/details/81352637
kubeadm方式部署默認已開啓。
獲取部署文件
根據實際生產環境，對Metrics Server的部署進行個性化修改，其他保持默認即可。
主要涉及：部署副本數爲3，追加--kubelet-insecure-tls配置。
[root@master01 ~]# mkdir metrics
[root@master01 ~]# cd metrics/
[root@master01 metrics]# wget https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml
[root@master01 metrics]# vi components.yaml
……
apiVersion: apps/v1
kind: Deployment
……
spec:
replicas: 3 #根據集羣規模調整副本數
……
spec:
hostNetwork: true
containers:
- args:
- --cert-dir=/tmp
- --secure-port=4443 #修改端口
- --kubelet-insecure-tls #追加此args
- --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname,InternalDNS,ExternalDNS #追加此args
- --kubelet-use-node-status-port
- --metric-resolution=15s
image: registry.k8s.io/metrics-server/metrics-server:v0.7.0
imagePullPolicy: IfNotPresent
……
ports:
- containerPort: 4443 #修改端口
……
正式部署
[root@master01 metrics]# kubectl apply -f components.yaml
[root@master01 metrics]# kubectl -n kube-system get pods -l k8s-app=metrics-server -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
metrics-server-59bc95bff-5x278 1/1 Running 0 164m 172.24.8.115 worker02 <none> <none>
metrics-server-59bc95bff-8bzc2 1/1 Running 0 163m 172.24.8.114 worker01 <none> <none>
metrics-server-59bc95bff-tvkmx 1/1 Running 0 163m 172.24.8.116 worker03 <none> <none>
查看資源監控
可使用kubectl top查看相關監控項。
[root@master01 ~]# kubectl top nodes
[root@master01 ~]# kubectl top pods --all-namespaces
提示：Metrics Server提供的數據也可以供HPA控制器使用，以實現基於CPU使用率或內存使用值的Pod自動擴縮容功能。
部署參考：https://linux48.com/container/2019-11-13-metrics-server.html
有關metrics更多部署參考：
https://kubernetes.io/docs/tasks/debug-application-cluster/resource-metrics-pipeline/
開啓開啓API Aggregation參考：
https://kubernetes.io/docs/concepts/extend-kubernetes/api-extension/apiserver-aggregation/
API Aggregation介紹參考：
https://kubernetes.io/docs/tasks/access-kubernetes-api/configure-aggregation-layer/
Nginx ingress部署
Kubernetes中的應用通常以Service對外暴露，而Service的表現形式爲IP:Port，即工作在TCP/IP層。
對於基於HTTP的服務來說，不同的URL地址經常對應到不同的後端服務（RS）或者虛擬服務器（Virtual Host），這些應用層的轉發機制僅通過Kubernetes的Service機制是無法實現的。
從Kubernetes 1.1版本開始新增Ingress資源對象，用於將不同URL的訪問請求轉發到後端不同的Service，以實現HTTP層的業務路由機制。
Kubernetes使用了一個Ingress策略規則和一個具體的Ingress Controller，兩者結合實現了一個完整的Ingress負載均衡器。
使用Ingress進行負載分發時，Ingress Controller基於Ingress策略規則將客戶端請求直接轉發到Service對應的後端Endpoint（Pod）上，從而跳過kube-proxy的轉發功能，kube-proxy不再起作用。
簡單的理解就是：ingress使用DaemonSet或Deployment在相應Node上監聽80或443，然後配合相應規則，因爲Nginx外面綁定了宿主機80端口（就像 NodePort），本身又在集羣內，那麼向後直接轉發到相應ServiceIP即可實現相應需求。
ingress controller + ingress 策略規則 ----> services。
同時當Ingress Controller提供的是對外服務，則實際上實現的是邊緣路由器的功能。
典型的HTTP層路由的架構：
設置標籤
建議對於非業務相關的應用，構建集羣所需的應用（如Ingress），部署在master節點，從而複用master節點的高可用。
採用標籤，結合部署的yaml中的tolerations，實現ingress部署在master節點的配置。
[root@master01 ~]# kubectl label nodes master0{1,2,3} ingress=enable
獲取資源
獲取部署所需的yaml資源。
[root@master01 ~]# mkdir ingress
[root@master01 ~]# cd ingress/
[root@master01 ingress]# wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.9.6/deploy/static/provider/baremetal/deploy.yaml
提示：ingress官方參考：https://github.com/kubernetes/ingress-nginx
https://kubernetes.github.io/ingress-nginx/deploy/
修改配置
爲方便後續管理和排障，對相關Nginx ingress掛載時區，以便使Pod時間正確，從而相關記錄日誌能具有時效性。
同時對ingress做了簡單配置，如日誌格式等。
[root@master01 ingress]# vi deploy.yaml
……
---
apiVersion: v1
data:
allow-snippet-annotations: "true"
client-header-buffer-size: "512k" #客戶端請求頭的緩衝區大小
large-client-header-buffers: "4 512k" #設置用於讀取大型客戶端請求標頭的最大值number和size緩衝區
client-body-buffer-size: "128k" #讀取客戶端請求body的緩衝區大小
proxy-buffer-size: "256k" #代理緩衝區大小
proxy-body-size: "50m" #代理body大小
server-name-hash-bucket-size: "128" #服務器名稱哈希大小
map-hash-bucket-size: "128" #map哈希大小
ssl-ciphers: "ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-DSS-AES128-GCM-SHA256:kEDH+AESGCM:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA256:ECDHE-R
SA-AES128-SHA:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA:ECDHE-ECDSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-DSS-AES128-SHA256:DHE-RSA-AES256-SHA256:DHE-DSS-AES256-SHA:DHE-RSA-AES256-SHA
:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:AES:CAMELLIA:DES-CBC3-SHA:!aNULL:!eNULL:!EXPORT:!DES:!RC4:!MD5:!PSK:!aECDH:!EDH-DSS-DES-CBC3-SHA:!EDH-RSA-DES-CBC3-SHA:!KRB5-DES-CBC3-SHA" #SSL加密套件
ssl-protocols: "TLSv1 TLSv1.1 TLSv1.2" #ssl 協議
log-format-upstream: '{"time": "$time_iso8601", "remote_addr": "$proxy_protocol_addr", "x-forward-for": "$proxy_add_x_forwarded_for", "request_id": "$req_id","remote_user": "$remote_user", "bytes_sent": $bytes_sent, "request_time": $request_time, "sta
tus":$status, "vhost": "$host", "request_proto": "$server_protocol", "path": "$uri", "request_query": "$args", "request_length": $request_length, "duration": $request_time,"method": "$request_method", "http_referrer": "$http_referer", "http_user_agent":
"$http_user_agent" }' #日誌格式
kind: ConfigMap
metadata:
labels:
app.kubernetes.io/component: controller
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
app.kubernetes.io/version: 1.9.6
name: ingress-nginx-controller
namespace: ingress-nginx
……
---
apiVersion: v1
kind: Service
metadata:
labels:
app.kubernetes.io/component: controller
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
app.kubernetes.io/version: 1.9.6
name: ingress-nginx-controller
namespace: ingress-nginx
spec:
ipFamilies:
- IPv4
ipFamilyPolicy: SingleStack
ports:
- appProtocol: http
name: http
port: 80
protocol: TCP
targetPort: http
nodePort: 80 #追加此行
- appProtocol: https
name: https
port: 443
protocol: TCP
targetPort: https
nodePort: 443 #追加此行
selector:
app.kubernetes.io/component: controller
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/name: ingress-nginx
type: NodePort
externalTrafficPolicy: Local #追加此行
……
---
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app.kubernetes.io/component: controller
app.kubernetes.io/instance: ingress-nginx
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
app.kubernetes.io/version: 1.9.6
name: ingress-nginx-controller
namespace: ingress-nginx
spec:
replicas: 3 #配置副本數
……
spec:
containers:
- args:
- /nginx-ingress-controller
……
image: registry.k8s.io/ingress-nginx/controller:v1.9.6 #修改image鏡像
……
volumeMounts:
……
- mountPath: /etc/localtime #掛載localtime
name: timeconfig
readOnly: true
dnsPolicy: ClusterFirst
nodeSelector:
kubernetes.io/os: linux
ingress: enable
tolerations:
- key: node-role.kubernetes.io/control-plane
effect: NoSchedule #追加nodeSelector和tolerations
……
volumes:
- name: webhook-cert
secret:
secretName: ingress-nginx-admission
- name: timeconfig #將hostpath配置爲掛載卷
hostPath:
path: /etc/localtime
……
image: registry.k8s.io/ingress-nginx/kube-webhook-certgen:v20231226-1a7112e06 #修改image鏡像
……
image: registry.k8s.io/ingress-nginx/kube-webhook-certgen:v20231226-1a7112e06 #修改image鏡像
……
[root@master01 ingress]# kubectl apply -f deploy.yaml
提示：添加默認backend需要等待default-backend創建完成controllers才能成功部署，新版本ingress不再推薦添加default backend。
確認驗證
查看Pod部署進度，是否成功完成。
[root@master01 ingress]# kubectl get pods -n ingress-nginx -o wide
[root@master01 ingress]# kubectl get svc -n ingress-nginx -o wide
提示：參考文檔：https://github.com/kubernetes/ingress-nginx/blob/master/docs/deploy/index.md。
Dashboard部署
dashboard是基於Web的Kubernetes用戶界面，即WebUI。
可以使用dashboard將容器化應用程序部署到Kubernetes集羣，對容器化應用程序進行故障排除，以及管理集羣資源。
可以使用dashboard來查看羣集上運行的應用程序，以及創建或修改單個Kubernetes資源（例如部署、任務、守護進程等）。
可以使用部署嚮導擴展部署，啓動滾動更新，重新啓動Pod或部署新應用程序。
dashboard還提供有關羣集中Kubernetes資源狀態以及可能發生的任何錯誤的信息。
通常生產環境中建議部署dashboard，以便於圖形化來完成基礎運維。
設置標籤
基於最佳實踐，非業務應用，或集羣自身的應用都部署在Master節點。
[root@master01 ~]# kubectl label nodes master0{1,2,3} dashboard=enable
提示：建議對於Kubernetes自身相關的應用（如dashboard），此類非業務應用部署在master節點。
部署cert-manager
cert-manager 部署到 Kubernetes 集羣后，它會 watch 它所支持的 CRD 資源，我們通過創建 CRD 資源來指示 cert-manager 爲我們簽發證書並自動續期。
關鍵術語：
Issuer/ClusterIssuer: 用於指示 cert-manager 用什麼方式簽發證書，本文主要講解簽發免費證書的 ACME 方式。ClusterIssuer 與 Issuer 的唯一區別就是 Issuer 只能用來簽發自己所在 namespace 下的證書，ClusterIssuer 可以簽發任意 namespace 下的證書。
Certificate: 用於告訴 cert-manager 我們想要什麼域名的證書以及簽發證書所需要的一些配置，包括對 Issuer/ClusterIssuer 的引用。
對於最新dashboard中，其中yaml文件已自動引入該組件，因此建議提前部署該組件。
[root@master01 ~]# kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.14.3/cert-manager.yaml
提示：更多cert-manager參考cert-manager，cert-manager安裝 。
創建證書
默認dashboard會自動創建證書，同時使用對應證書創建secret。生產環境可以啓用相應的域名進行部署dashboard，因此需要將對於的域名製作爲TLS證書。
本實驗已獲取免費一年的證書，免費證書獲取可參考：https://freessl.cn.
將已獲取的證書上傳至對應目錄。
[root@master01 ~]# mkdir -p /root/dashboard/certs
[root@master01 ~]# cd /root/dashboard/certs
[root@master01 certs]# mv webui.linuxsb.com.crt tls.crt
[root@master01 certs]# mv webui.linuxsb.com.key tls.key
[root@master01 certs]# ll
total 12K
-rw-r--r-- 1 root root 4.1K Feb 28 10:47 tls.crt
-rw-r--r-- 1 root root 1.7K Feb 28 10:47 tls.key
提示：也可手動如下操作創建自簽證書：
[root@master01 ~]# openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/C=CN/ST=ZheJiang/L=HangZhou/O=Xianghy/OU=Xianghy/CN=webui.linuxsb.com"
手動創建secret
自定義證書的場景，建議提前使用對應的證書創建secret。
[root@master01 ~]# kubectl create ns kubernetes-dashboard #v3版本dashboard獨立ns
[root@master01 ~]# kubectl create secret generic kubernetes-dashboard-certs --from-file=/root/dashboard/certs/ -n kubernetes-dashboard
[root@master01 ~]# kubectl get secret kubernetes-dashboard-certs -n kubernetes-dashboard -o yaml #查看證書信息
下載yaml
從官方下載最新的dashboard部署所需yaml。
[root@master01 ~]# cd /root/dashboard
[root@master01 dashboard]# wget https://raw.githubusercontent.com/kubernetes/dashboard/v3.0.0-alpha0/charts/kubernetes-dashboard.yaml
提示：官方參考：https://github.com/kubernetes/dashboard 。
修改yaml
根據實際生產環境修改yaml，同時最新版dashboard yaml裏包括了ingress，因此不需要額外創建ingress，僅需做簡單修改即可。
[root@master01 dashboard]# vi kubernetes-dashboard.yaml
……
kind: Ingress
apiVersion: networking.k8s.io/v1
metadata:
name: kubernetes-dashboard
namespace: kubernetes-dashboard
labels:
app.kubernetes.io/name: nginx-ingress
app.kubernetes.io/part-of: kubernetes-dashboard
annotations:
nginx.ingress.kubernetes.io/ssl-redirect: "true"
cert-manager.io/issuer: selfsigned
spec:
ingressClassName: nginx
tls:
- hosts:
- webui.linuxsb.com
secretName: kubernetes-dashboard-certs
rules:
- host: webui.linuxsb.com
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: kubernetes-dashboard-web
port:
name: web
- path: /api
pathType: Prefix
backend:
service:
name: kubernetes-dashboard-api
port:
name: api
……
kind: Deployment
apiVersion: apps/v1
metadata:
name: kubernetes-dashboard-api
namespace: kubernetes-dashboard
labels:
app.kubernetes.io/name: kubernetes-dashboard-api
app.kubernetes.io/part-of: kubernetes-dashboard
app.kubernetes.io/component: api
app.kubernetes.io/version: "v1.0.0"
spec:
replicas: 3 #根據實際環境調整爲3副本
……
nodeSelector:
"kubernetes.io/os": linux
"dashboard": enable #部署在帶有dashboard tag的節點，即master節點
tolerations: #Kubernetes的主節點標記從master改爲control-plane
- key: node-role.kubernetes.io/control-plane
effect: NoSchedule
……
kind: Deployment
apiVersion: apps/v1
metadata:
name: kubernetes-dashboard-web
namespace: kubernetes-dashboard
labels:
app.kubernetes.io/name: kubernetes-dashboard-web
app.kubernetes.io/part-of: kubernetes-dashboard
app.kubernetes.io/component: web
app.kubernetes.io/version: "v1.0.0"
spec:
replicas: 3
……
nodeSelector:
"kubernetes.io/os": linux
"dashboard": enable #部署在帶有dashboard tag的節點，即master節點
tolerations: #Kubernetes的主節點標記從master改爲control-plane
- key: node-role.kubernetes.io/control-plane
effect: NoSchedule
……
kind: Deployment
apiVersion: apps/v1
metadata:
name: kubernetes-dashboard-metrics-scraper
namespace: kubernetes-dashboard
labels:
app.kubernetes.io/name: kubernetes-dashboard-metrics-scraper
app.kubernetes.io/part-of: kubernetes-dashboard
app.kubernetes.io/component: metrics
app.kubernetes.io/version: "v1.0.9"
spec:
replicas: 1
……
nodeSelector:
"kubernetes.io/os": linux
"dashboard": enable #部署在帶有dashboard tag的節點，即master節點
tolerations: #Kubernetes的主節點標記從master改爲control-plane
- key: node-role.kubernetes.io/control-plane
effect: NoSchedule
……
正式部署
根據生產環境最佳實踐進行調優，調優完成後開始部署。
[root@master01 dashboard]# kubectl apply -f kubernetes-dashboard.yaml
[root@master01 dashboard]# kubectl -n kubernetes-dashboard get deployments.apps
[root@master01 dashboard]# kubectl -n kubernetes-dashboard get services
[root@master01 dashboard]# kubectl -n kubernetes-dashboard get pods -o wide
[root@master01 dashboard]# kubectl -n kubernetes-dashboard get svc
[root@master01 dashboard]# kubectl -n kubernetes-dashboard describe svc kubernetes-dashboard
[root@master01 dashboard]# kubectl -n kubernetes-dashboard get ingress -o wide
提示：master NodePort 30001/TCP映射到 dashboard pod 443 端口。
創建管理員賬戶
建議創建管理員賬戶，dashboard v2版本默認沒有創建具有管理員權限的賬戶，同時登錄可以選擇kubeconfig以及token，通常使用kubeconfig比較方便。
在創建管理員用戶後，將用戶相關信息配置成kubeconfig文件，即可實現快速登錄dashboard。
[root@master01 dashboard]# cat <<EOF > dashboard-admin.yaml
---
apiVersion: v1
kind: ServiceAccount
metadata:
name: admin
namespace: kubernetes-dashboard
---
apiVersion: v1
kind: Secret
type: kubernetes.io/service-account-token
metadata:
name: admin
namespace: kubernetes-dashboard
annotations:
kubernetes.io/service-account.name: "admin"
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: admin
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: cluster-admin
subjects:
- kind: ServiceAccount
name: admin
namespace: kubernetes-dashboard
EOF
[root@master01 dashboard]# kubectl apply -f dashboard-admin.yaml
創建kubeconfig文件
使用token相對複雜，可將token添加至kubeconfig文件中，使用KubeConfig文件訪問dashboard。
[root@master01 dashboard]# ADMIN_SECRET=$(kubectl -n kubernetes-dashboard get secret | grep admin | awk '{print $1}')
[root@master01 dashboard]# DASHBOARD_LOGIN_TOKEN=$(kubectl describe secret -n kubernetes-dashboard ${ADMIN_SECRET} | grep -E '^token' | awk '{print $2}')
[root@master01 dashboard]# kubectl config set-cluster kubernetes \
--certificate-authority=/etc/kubernetes/pki/ca.crt \
--embed-certs=true \
--server=172.24.8.100:16443 \
--kubeconfig=local-khk8s-1-29-admin.kubeconfig # 設置集羣參數
[root@master01 dashboard]# kubectl config set-credentials dashboard_user \
--token=${DASHBOARD_LOGIN_TOKEN} \
--kubeconfig=local-khk8s-1-29-admin.kubeconfig # 設置客戶端認證參數，使用上面創建的 Token
[root@master01 dashboard]# kubectl config set-context default \
--cluster=kubernetes \
--user=dashboard_user \
--kubeconfig=local-khk8s-1-29-admin.kubeconfig # 設置上下文參數
[root@master01 dashboard]# kubectl config use-context default --kubeconfig=local-khk8s-1-29-admin.kubeconfig # 設置默認上下文
將webui.linuxsb.com.crt證書文件導入，以便於瀏覽器使用該文件登錄。
導入證書
將webui.linuxsb.com.crt證書導入瀏覽器，並設置爲信任，可規避證書不受信任的彈出。
測試訪問dashboard
本實驗採用ingress所暴露的域名：https://webui.linuxsb.com
方式一：token訪問
可使用kubectl describe secret -n kubernetes-dashboard ${ADMIN_SECRET} | grep -E '^token' | awk '{print $2}'所獲取的token訪問。
方式二：kubeconfig訪問
local-khk8s-1-29-admin.kubeconfig文件訪問。
提示：更多dashboard訪問方式及認證可參考附004.Kubernetes Dashboard簡介及使用。
dashboard登錄整個流程可參考：https://www.cnadn.net/post/2613.html
Longhorn存儲部署
Longhorn概述
Longhorn是用於Kubernetes的開源分佈式塊存儲系統。
當前Kubernetes 1.29.2版本建議使用Longhorn 1.6.0 。
提示：更多介紹參考：https://github.com/longhorn/longhorn 。
基礎軟件安裝
後續業務應用可能運行在任意節點位置，掛載操作需要在任何節點可正常執行。
所有節點均需要安裝基礎以來軟件。
[root@master01 ~]# source environment.sh
[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
do
echo ">>> ${all_ip}"
ssh root@${all_ip} "yum -y install iscsi-initiator-utils &"
ssh root@${all_ip} "systemctl enable iscsid --now"
done
提示：所有節點都需要安裝。
設置標籤
在Master節點上部署存儲組件的圖形界面。
[root@master01 ~]# kubectl label nodes master0{1,2,3} longhorn-ui=enabled
提示：ui圖形界面可複用master高可用，因此部署在master節點。
準備磁盤
Longhorn的分佈式存儲，建議獨立磁盤設備專門作爲存儲卷，可提前掛載。
longhorn默認使用/var/lib/longhorn/作爲設備路徑，可提前掛載/dev/nvme0n2設備。
不同環境下裸磁盤的設備名不一樣，根據實際環境爲準。
[root@master01 ~]# source environment.sh
[root@master01 ~]# for node_ip in ${NODE_IPS[@]}
do
echo ">>> ${node_ip}"
ssh root@${node_ip} "mkfs.xfs -f /dev/nvme0n2 && mkdir -p /var/lib/longhorn/ && echo '/dev/nvme0n2 /var/lib/longhorn xfs defaults 0 0' >> /etc/fstab && mount -a"
done
配置Longhorn
根據實際生產環境，對Longhorn進行優化配置。
[root@master01 ~]# mkdir longhorn
[root@master01 ~]# cd longhorn/
[root@master01 longhorn]# wget https://raw.githubusercontent.com/longhorn/longhorn/v1.6.0/deploy/longhorn.yaml
[root@master01 longhorn]# vi longhorn.yaml
……
---
# Source: longhorn/templates/deployment-ui.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app.kubernetes.io/name: longhorn
app.kubernetes.io/instance: longhorn
app.kubernetes.io/version: v1.6.0
app: longhorn-ui
name: longhorn-ui
namespace: longhorn-system
spec:
replicas: 2
selector:
matchLabels:
app: longhorn-ui
template:
metadata:
labels:
app.kubernetes.io/name: longhorn
app.kubernetes.io/instance: longhorn
app.kubernetes.io/version: v1.6.0
app: longhorn-ui
spec:
serviceAccountName: longhorn-ui-service-account
affinity:
podAntiAffinity:
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 1
podAffinityTerm:
labelSelector:
matchExpressions:
- key: app
operator: In
values:
- longhorn-ui
topologyKey: kubernetes.io/hostname
containers:
- name: longhorn-ui
image: longhornio/longhorn-ui:v1.6.0
……
nodeSelector:
longhorn-ui: enabled #追加標籤選擇
tolerations:
- key: node-role.kubernetes.io/control-plane #添加容忍
effect: NoSchedule
……
正式部署
基於優化的yaml進行部署。
[root@master01 ~]# cd longhorn/
[root@master01 longhorn]# kubectl apply -f longhorn.yaml
[root@master01 longhorn]# kubectl -n longhorn-system get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
csi-attacher-57689cc84b-55vw6 1/1 Running 0 104s 10.10.19.82 worker03 <none> <none>
csi-attacher-57689cc84b-gxm62 1/1 Running 0 105s 10.10.30.82 worker02 <none> <none>
csi-attacher-57689cc84b-jtqdw 1/1 Running 0 104s 10.10.5.17 worker01 <none> <none>
csi-provisioner-6c78dcb664-cswfz 1/1 Running 0 104s 10.10.19.83 worker03 <none> <none>
csi-provisioner-6c78dcb664-kdnhc 1/1 Running 0 104s 10.10.5.18 worker01 <none> <none>
csi-provisioner-6c78dcb664-vqs4z 1/1 Running 0 104s 10.10.30.81 worker02 <none> <none>
csi-resizer-7466f7b45f-8lbhp 1/1 Running 0 104s 10.10.5.21 worker01 <none> <none>
csi-resizer-7466f7b45f-9g7rw 1/1 Running 0 104s 10.10.30.83 worker02 <none> <none>
csi-resizer-7466f7b45f-xzsgs 1/1 Running 0 104s 10.10.19.81 worker03 <none> <none>
csi-snapshotter-58bf69fbd5-5b59k 1/1 Running 0 104s 10.10.19.85 worker03 <none> <none>
csi-snapshotter-58bf69fbd5-7q25t 1/1 Running 0 104s 10.10.30.85 worker02 <none> <none>
csi-snapshotter-58bf69fbd5-rprpq 1/1 Running 0 104s 10.10.5.19 worker01 <none> <none>
engine-image-ei-acb7590c-9b8wf 1/1 Running 0 116s 10.10.30.79 worker02 <none> <none>
engine-image-ei-acb7590c-bbcw9 1/1 Running 0 116s 10.10.19.79 worker03 <none> <none>
engine-image-ei-acb7590c-d4qlp 1/1 Running 0 116s 10.10.5.15 worker01 <none> <none>
instance-manager-0cf302d46e3eaf0be2c65de14febecb3 1/1 Running 0 110s 10.10.30.80 worker02 <none> <none>
instance-manager-652604acb4423fc91cae625c664b813b 1/1 Running 0 2m21s 10.10.5.14 worker01 <none> <none>
instance-manager-6e47bda67fc7278dee5cbb280e6a8fde 1/1 Running 0 110s 10.10.19.80 worker03 <none> <none>
longhorn-csi-plugin-j92qz 3/3 Running 0 104s 10.10.19.84 worker03 <none> <none>
longhorn-csi-plugin-lsqzb 3/3 Running 0 104s 10.10.5.20 worker01 <none> <none>
longhorn-csi-plugin-nv7vk 3/3 Running 0 104s 10.10.30.84 worker02 <none> <none>
longhorn-driver-deployer-576d574c8-vw8hq 1/1 Running 0 4m53s 10.10.30.78 worker02 <none> <none>
longhorn-manager-2vfpz 1/1 Running 3 (2m16s ago) 4m53s 10.10.30.77 worker02 <none> <none>
longhorn-manager-4d5w9 1/1 Running 2 (2m19s ago) 4m53s 10.10.5.13 worker01 <none> <none>
longhorn-manager-r55wx 1/1 Running 3 (4m26s ago) 4m53s 10.10.19.78 worker03 <none> <none>
longhorn-ui-7cfd57b47d-brh89 1/1 Running 0 4m53s 10.10.59.198 master02 <none> <none>
longhorn-ui-7cfd57b47d-qndks 1/1 Running 0 4m53s 10.10.235.8 master03 <none> <none>
提示：若部署異常可刪除重建，若出現無法刪除namespace，可通過如下操作進行刪除：
wget https://raw.githubusercontent.com/longhorn/longhorn/v1.6.0/uninstall/uninstall.yaml
kubectl apply -f uninstall.yaml
kubectl get job/longhorn-uninstall -n longhorn-system -w
kubectl delete -f uninstall.yaml #等待任務完成再次執行delete
rm -rf /var/lib/longhorn/*
若依舊無法釋放，參考《附098.Kubernetes故障排查記錄》。
動態sc創建
部署Longhorn後，默認已創建一個名爲longhorn的sc。
[root@master01 longhorn]# kubectl get sc
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE
longhorn (default) driver.longhorn.io Delete Immediate true 5m53s
測試PV及PVC
使用常見的Nginx Pod進行測試，模擬生產環境常見的Web類應用的持久性存儲卷。
[root@master01 longhorn]# cat <<EOF > longhornpvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: longhorn-pvc
spec:
accessModes:
- ReadWriteOnce
storageClassName: longhorn
resources:
requests:
storage: 50Mi
EOF #創建PVC
[root@master01 longhorn]# cat <<EOF > longhornpod.yaml
---
apiVersion: v1
kind: Pod
metadata:
name: longhorn-pod
namespace: default
spec:
containers:
- name: volume-test
image: nginx:stable-alpine
imagePullPolicy: IfNotPresent
volumeMounts:
- name: volv
mountPath: /usr/share/nginx/html
ports:
- containerPort: 80
volumes:
- name: volv
persistentVolumeClaim:
claimName: longhorn-pvc
EOF #創建Pod
[root@master01 longhorn]# kubectl apply -f longhornpvc.yaml
[root@master01 longhorn]# kubectl apply -f longhornpod.yaml
[root@master01 longhorn]# kubectl get pods
[root@master01 longhorn]# kubectl get pvc
[root@master01 longhorn]# kubectl get pv
Ingress暴露Longhorn
使用已部署完成的ingress將Longhorn UI暴露，以便於使用URL形式訪問Longhorn圖形界面進行Longhorn的基礎管理。
[root@master01 longhorn]# yum -y install httpd-tools
[root@master01 longhorn]# htpasswd -c auth admin #創建用戶名和密碼
New password: [輸入密碼]
Re-type new password: [輸入密碼]
提示：也可通過如下命令創建：
USER=admin; PASSWORD=admin1234; echo "${USER}:$(openssl passwd -stdin -apr1 <<< ${PASSWORD})" >> auth
[root@master01 longhorn]# kubectl -n longhorn-system create secret generic longhorn-basic-auth --from-file=auth
[root@master01 longhorn]# cat <<EOF > longhorn-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: longhorn-ingress
namespace: longhorn-system
annotations:
nginx.ingress.kubernetes.io/auth-type: basic
nginx.ingress.kubernetes.io/auth-secret: longhorn-basic-auth
nginx.ingress.kubernetes.io/auth-realm: 'Authentication Required '
spec:
ingressClassName: "nginx"
rules:
- host: longhorn.linuxsb.com
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: longhorn-frontend
port:
number: 80
EOF
[root@master01 longhorn]# kubectl apply -f longhorn-ingress.yaml
[root@master01 longhorn]# kubectl -n longhorn-system get svc longhorn-frontend
[root@master01 longhorn]# kubectl -n longhorn-system get ingress longhorn-ingress
[root@master01 longhorn]# kubectl -n longhorn-system describe svc longhorn-frontend
[root@master01 longhorn]# kubectl -n longhorn-system describe ingress longhorn-ingress
確認驗證
瀏覽器訪問：longhorn.linuxsb.com ，並輸入設置的賬號和密碼。
使用admin/[密碼]登錄查看。
Helm部署
helm介紹
Helm 是 Kubernetes 的軟件包管理工具。包管理器類似 Ubuntu 中使用的apt、Centos中使用的yum 或者Python中的 pip 一樣，能快速查找、下載和安裝軟件包。通常每個包稱爲一個Chart，一個Chart是一個目錄（一般情況下會將目錄進行打包壓縮，形成name-version.tgz格式的單一文件，方便傳輸和存儲）。
Helm 由客戶端組件 helm 和服務端組件 Tiller 組成, 能夠將一組K8S資源打包統一管理, 是查找、共享和使用爲Kubernetes構建的軟件的最佳方式。
Helm優勢
在 Kubernetes中部署一個可以使用的應用，需要涉及到很多的 Kubernetes 資源的共同協作。
如安裝一個 WordPress 博客，用到了一些 Kubernetes 的一些資源對象。包括 Deployment 用於部署應用、Service 提供服務發現、Secret 配置 WordPress 的用戶名和密碼，可能還需要 pv 和 pvc 來提供持久化服務。並且 WordPress 數據是存儲在mariadb裏面的，所以需要 mariadb 啓動就緒後才能啓動 WordPress。這些 k8s 資源過於分散，不方便進行管理。
基於如上場景，在 k8s 中部署一個應用，通常面臨以下幾個問題：
如何統一管理、配置和更新這些分散的 k8s 的應用資源文件；
如何分發和複用一套應用模板；
如何將應用的一系列資源當做一個軟件包管理。
對於應用發佈者而言，可以通過 Helm 打包應用、管理應用依賴關係、管理應用版本併發布應用到軟件倉庫。
對於使用者而言，使用 Helm 後不用需要編寫複雜的應用部署文件，可以以簡單的方式在 Kubernetes 上查找、安裝、升級、回滾、卸載應用程序。
前置準備
Helm 將使用 kubectl 在已配置的集羣上部署 Kubernetes 資源，因此需要如下前置準備：
- 正在運行的 Kubernetes 集羣；
- 預配置的 kubectl 客戶端和 Kubernetes 集羣正確交互。
二進制安裝Helm
建議採用二進制安裝helm。
[root@master01 ~]# mkdir helm
[root@master01 ~]# cd helm/
[root@master01 helm]# wget https://repo.huaweicloud.com/helm/v3.14.2/helm-v3.14.2-linux-amd64.tar.gz
[root@master01 helm]# tar -zxvf helm-v3.14.2-linux-amd64.tar.gz
[root@master01 helm]# cp linux-amd64/helm /usr/local/bin/
[root@master01 helm]]# helm version #查看安裝版本
[root@master01 helm]]# echo 'source <(helm completion bash)' >> $HOME/.bashrc #helm自動補全
提示：更多安裝方式參考官方手冊：https://helm.sh/docs/intro/install/ 。
Helm操作
查找chart
helm search：可以用於搜索兩種不同類型的源。
helm search hub：搜索 Helm Hub，該源包含來自許多不同倉庫的Helm chart。
helm search repo：搜索已添加到本地頭helm客戶端（帶有helm repo add）的倉庫，該搜索是通過本地數據完成的，不需要連接公網。
[root@master01 ~]# helm search hub #可搜索全部可用chart
[root@master01 ~]# helm search hub wordpress
添加repo
類似CentOS添加yum源，可以給helm倉庫添加相關源。
[root@master01 ~]# helm repo list #查看repo
[root@master01 ~]# helm repo add stable http://mirror.azure.cn/kubernetes/charts
[root@master01 ~]# helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
[root@master01 ~]# helm repo add jetstack https://charts.jetstack.io
[root@master01 ~]# helm search repo stable
[root@master01 ~]# helm search repo aliyun #搜索repo中的chart
[root@master01 ~]# helm repo update #更新repo的chart
擴展：集羣擴容及縮容
集羣擴容
- master節點擴容
參考：添加Master節點 步驟 - worker節點擴容
參考：添加Worker節點 步驟
集羣縮容
- master節點縮容
Master節點縮容的時候會自動將Pod遷移至其他節點。
[root@master01 ~]# kubectl drain master03 --delete-emptydir-data --force --ignore-daemonsets
[root@master01 ~]# kubectl delete node master03
[root@master03 ~]# kubeadm reset -f && rm -rf $HOME/.kube
- worker節點縮容
Worker節點縮容的時候會自動將Pod遷移至其他節點。
[root@master01 ~]# kubectl drain worker04 --delete-emptydir-data --force --ignore-daemonsets
[root@master01 ~]# kubectl delete node worker04
[root@worker04 ~]# kubeadm reset -f
[root@worker04 ~]# rm -rf /etc/kubernetes/admin.conf /etc/kubernetes/kubelet.conf /etc/kubernetes/bootstrap-kubelet.conf /etc/kubernetes/controller-manager.conf /etc/kubernetes/scheduler.conf