導讀：衆所周知，K8S安裝難點在於鏡像下載。查詢網上許多關於K8S安裝部署的文章，作者要麼是將鏡像下載使用的工作交給了讀者完成，要麼是放在共享雲盤中，由讀者下載後導入使用。都知道，如果你不是該雲盤提供商的會員，鏡像下載速度堪比蝸牛。總之，三個字：”不方便“。基於最大化便利剛接觸K8S的同行快速上手實踐的目的，在參閱了衆多同行關於K8S部署的文章，並經過反覆實驗驗證後，將本人的實驗成果在這裏分享，希望可以幫助有需要的朋友。由於時間倉促，一些對本文撰寫有價值的文章沒有仔細考證作者和出處，在本文末尾的參閱文章中可能沒有註明。如你發現本文中一些內容的原創屬於你本人，請郵件聯繫本人處理。並在此感謝對本文創作產生幫助的作者。謝謝！
本文K8S集羣高可用方案採用Keepalived。
實驗環境：
1、3臺centos 1611版本虛擬機，mini安裝。Linux localhost 3.10.0-514.el7.x86_64 #1 SMP Tue Nov 22 16:42:41 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
2、docker version
Client:
Version: 1.13.1
API version: 1.26
Package version: <unknown>
Go version: go1.8.3
Git commit: 774336d/1.13.1
Built: Wed Mar 7 17:06:16 2018
OS/Arch: linux/amd64
Server:
Version: 1.13.1
API version: 1.26 (minimum version 1.12)
Package version: <unknown>
Go version: go1.8.3
Git commit: 774336d/1.13.1
Built: Wed Mar 7 17:06:16 2018
OS/Arch: linux/amd64
Experimental: false
3、etcd Version: 3.1.13
4、kubeadm，kubelet，kubectl，kube-cni版本如下：
-rw-r–r– 1 root root 18176678 Mar 30 00:08 5844c6be68e95a741f1ad403e5d4f6962044be060bc6df9614c2547fdbf91ae5-kubelet-1.10.0-0.x86_64.rpm
-rw-r–r– 1 root root 17767206 Mar 30 00:07 8b0cb6654a2f6d014555c6c85148a5adc5918de937f608a30b0c0ae955d8abce-kubeadm-1.10.0-0.x86_64.rpm
-rw-r–r– 1 root root 7945458 Mar 30 00:07 9ff2e28300e012e2b692e1d4445786f0bed0fd5c13ef650d61369097bfdd0519-kubectl-1.10.0-0.x86_64.rpm
-rw-r–r– 1 root root 9008838 Mar 5 21:56 fe33057ffe95bfae65e2f269e1b05e99308853176e24a4d027bc082b471a07c0-kubernetes-cni-0.6.0-0.x86_64.rpm
5、k8s網絡組件：flannel:v0.10.0-amd64
6、實驗網絡規劃如下：
host1 172.18.0.154/22
host2 172.18.0.155/22
host3 172.18.0.156/22
VIP 172.18.0.192/22
文章視頻鏈接：https://pan.baidu.com/s/1XVagd765eGacuoR_cgesiQ
安裝步驟：
0、請先從該鏈接下載後面步驟所需腳本https://pan.baidu.com/s/1oK7PRLeeYHrouNCRgIQlcQ
1、在3臺主機中執行基礎環境配置腳本 base-env-config.sh。
2、在主機1執行腳本 host1-base-env.sh
3、在主機2執行腳本 host2-base-env.sh
4、在主機3執行腳本 host3-base-env.sh
5、在host1主機執行如下命令
[root@host1 ~]# scp -r /etc/etcd/ssl [email protected]:/etc/etcd/
[root@host1 ~]# scp -r /etc/etcd/ssl [email protected]:/etc/etcd/
6、在3臺主機中分別執行腳本 etcd.sh
7、查看keepalived狀態
systemctl status keepalived
8、查看etcd運行狀態
在host1,host2,host3分別執行如下命令：
etcdctl --endpoints=https://${NODE_IP}:2379 --ca-file=/etc/etcd/ssl/ca.pem --cert-file=/etc/etcd/ssl/etcd.pem --key-file=/etc/etcd/ssl/etcd-key.pem cluster-health
9、在3臺主機上安裝kubeadm,kubelet,kubctl,docker
yum install kubelet kubeadm kubectl kubernetes-cni docker -y
10、在3臺主機禁用docker啓動項參數關於SELinux的設置
sed -i 's/--selinux-enabled/--selinux-enabled=false/g' /etc/sysconfig/docker
11、在3臺主機的kubelet配置文件中添加如下參數
sed -i '9a\Environment="KUBELET_EXTRA_ARGS=--pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/osoulmate/pause-amd64:3.0"' /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
12、在3臺主機添加docker加速器配置（可選步驟）
cat <<EOF > /etc/docker/daemon.json
{
“registry-mirrors”: [“https://yourself.mirror.aliyuncs.com”] #請自行申請阿里雲賬號獲取鏡像加速鏈接
}
EOF
13、在3臺主機分別執行以下命令
systemctl daemon-reload
systemctl enable docker && systemctl restart docker
systemctl enable kubelet && systemctl restart kubelet
14、在3臺主機中分別執行kubeadmconfig.sh生成配置文件config.yaml
15、在host1主機中首先執行kubeadm初始化操作
命令如下：
kubeadm init –config config.yaml
16、在host1主機中執行初始化後操作
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
17、將主機host1中kubeadm初始化後生成的證書和密鑰文件拷貝至host2,host3相應目錄下
scp -r /etc/kubernetes/pki [email protected]:/etc/kubernetes/
scp -r /etc/kubernetes/pki [email protected]:/etc/kubernetes/
18、爲主機host1安裝網絡組件 podnetwork【這裏選用flannel】
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
systemctl stop kubelet #由於kubelet會調用docker到默認url【谷歌】下載鏡像，所以先禁用
systemctl restart docker
docker pull registry.cn-hangzhou.aliyuncs.com/osoulmate/flannel:v0.10.0-amd64
systemctl start kubelet
19、在host2,host3上執行如下命令
kubeadm init –config config.yaml
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
systemctl stop kubelet #如果提示需要systemctl daemon-reload，則將守護進程重啓後再停止kubelet服務。
systemctl restart docker
docker pull registry.cn-hangzhou.aliyuncs.com/osoulmate/flannel:v0.10.0-amd64
systemctl start kubelet
20、查看集羣各節點狀態【這裏僅在host1主機查看結果】
[root@host1 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
host1 Ready master 5m v1.10.0
host2 Ready master 1m v1.10.0
host3 Ready master 1m v1.10.0
[root@host1 ~]# kubectl get po –all-namespaces
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system coredns-7997f8864c-k9dcx 1/1 Running 0 5m
kube-system coredns-7997f8864c-sv9rv 1/1 Running 0 5m
kube-system kube-apiserver-host1 1/1 Running 1 4m
kube-system kube-apiserver-host2 1/1 Running 0 1m
kube-system kube-apiserver-host3 1/1 Running 0 1m
kube-system kube-controller-manager-host1 1/1 Running 1 4m
kube-system kube-controller-manager-host2 1/1 Running 0 1m
kube-system kube-controller-manager-host3 1/1 Running 0 1m
kube-system kube-flannel-ds-88tz5 1/1 Running 0 1m
kube-system kube-flannel-ds-g9dpj 1/1 Running 0 2m
kube-system kube-flannel-ds-h58tp 1/1 Running 0 1m
kube-system kube-proxy-6fsvq 1/1 Running 1 5m
kube-system kube-proxy-g8xnb 1/1 Running 1 1m
kube-system kube-proxy-gmqv9 1/1 Running 1 1m
kube-system kube-scheduler-host1 1/1 Running 1 5m
kube-system kube-scheduler-host2 1/1 Running 1 1m
kube-system kube-scheduler-host3 1/1 Running 0 1m
21、高可用驗證
將host1關機，在host3上執行
while true; do sleep 1; kubectl get node;date; done
在host2上觀察keepalived是否已切換爲主狀態。
Q&A
1、爲什麼在kubeadm init時出現kubelet 版本不支持系統中安裝的etcd的報錯？
因爲本文k8s管理組件kubeadm,kubectl,kubelet的安裝源爲阿里雲源，阿里雲源會和最新k8s版本保持同步。如出現版本不兼容的問題，請按照報錯提示安裝相應版本的etcd或kubelet，kubeadm,kubectl組件。
2、爲什麼安裝時間同步軟件chrony？
由於集羣採用keepalived檢測集羣各節點的活動狀態，如不能保證各節點時間同步，會導致心跳異常，進而影響集羣的故障倒換。當然，你也可以採用其它時間同步措施，只要能保證各節點之間的時間同步即可。
3、步驟18中爲什麼用kubeclt應用了網絡組件後還要用docker pull從阿里雲拉取鏡像呢？
kubectl應用了flannel組件後默認會從谷歌鏡像庫中拉取鏡像，所以要先停止kubelet服務，使其停止對docker的調用，在我們手動從阿里雲拉取鏡像後，再重啓kubelet服務，k8s相關服務會自動識別鏡像。在host2,host3主機kubeadm init完成後可能還會出現其它鏡像包未拉取完成的情況，這時也可以採用這種方法：即停止kubelet服務，重啓docker服務，手動拉取鏡像【確定需要拉取那些鏡像可先在主機上使用 kubectl get po –all-namespaces命令獲取各主機鏡像的當前狀態。如READY列顯示0/1表示鏡像仍在拉取/創建中，可使用你下載的k8s壓縮包中名稱爲阿里雲鏡像包的txt文檔中的相應命令】，之後再啓動kubelet服務。除flannel鏡像外，理論上所有鏡像在kubeadm init中都會從阿里雲鏡像庫中拉取，所以，如果host2,host3在kubeadm init時有鏡像沒有拉取完成，可等待1-2分鐘，如還未成功，直接重啓kubelet服務即可。
參考文章：
https://www.kubernetes.org.cn/3536.html
https://docs.docker.com/install/linux/docker-ce/ubuntu/#os-requirements https://kubernetes.io/docs/setup/independent/install-kubeadm/
https://linux.cn/article-4764-1.html
https://blog.csdn.net/yjk13703623757/article/details/78997157