前言
Kubernetes作爲容器編排工具，簡化容器管理，提升工作效率而頗受青睞。很多新手部署Kubernetes由於“科學上網”問題舉步維艱，本文以實戰經驗詳解kubeadm不用“科學上網”部署Kubernetes的最簡方法。
一、Kubernetes簡介
Kubernetes（簡稱K8S）是開源的容器集羣管理系統，可以實現容器集羣的自動化部署、自動擴縮容、維護等功能。它既是一款容器編排工具，也是全新的基於容器技術的分佈式架構領先方案。在Docker技術的基礎上，爲容器化的應用提供部署運行、資源調度、服務發現和動態伸縮等功能，提高了大規模容器集羣管理的便捷性。
K8S集羣中有管理節點與工作節點兩種類型。管理節點主要負責K8S集羣管理，集羣中各節點間的信息交互、任務調度，還負責容器、Pod、NameSpaces、PV等生命週期的管理。工作節點主要爲容器和Pod提供計算資源，Pod及容器全部運行在工作節點上，工作節點通過kubelet服務與管理節點通信以管理容器的生命週期，並與集羣其他節點進行通信。
二、環境準備
Kubernetes支持在物理服務器或虛擬機中運行，本次使用虛擬機準備測試環境，硬件配置信息如表所示：
IP地址 節點角色 CPU Memory Hostname 磁盤
10.10.10.10 master >=2c >=2G master sda、sdb
10.10.10.11 worker >=2c >=2G node1 sda、sdb
10.10.10.12 worker >=2c >=2G node2 sda、sdb
注：在所有節點上進行如下操作
1.設置主機名hostname，管理節點設置主機名爲 master 。
hostnamectl set-hostname master
需要設置其他主機名稱時，可將 master 替換爲正確的主機名node1、node2即可。
2.編輯 /etc/hosts 文件，添加域名解析。
cat <<EOF >>/etc/hosts
10.10.10.10 master
10.10.10.11 node1
10.10.10.12 node2
EOF
3.關閉防火牆、selinux和swap。
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i "s/^SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
swapoff -a
sed -i 's/.*swap.*/#&/' /etc/fstab
4.配置內核參數，將橋接的IPv4流量傳遞到iptables的鏈
cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system
5.配置國內yum源
yum install -y wget
mkdir /etc/yum.repos.d/bak && mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.cloud.tencent.com/repo/centos7_base.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.cloud.tencent.com/repo/epel-7.repo
yum clean all && yum makecache
配置國內Kubernetes源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
配置 docker 源
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
三、軟件安裝
注：在所有節點上進行如下操作
1.安裝docker
yum install -y docker-ce-18.06.1.ce-3.el7
systemctl enable docker && systemctl start docker
docker –version
Docker version 18.06.1-ce, build e68fc7a
docker服務爲容器運行提供計算資源，是所有容器運行的基本平臺。
2.安裝kubeadm、kubelet、kubectl
yum install -y kubelet kubeadm kubectl
systemctl enable kubelet
Kubelet負責與其他節點集羣通信，並進行本節點Pod和容器生命週期的管理。Kubeadm是Kubernetes的自動化部署工具，降低了部署難度，提高效率。Kubectl是Kubernetes集羣管理工具。
四、部署master 節點
注：在master節點上進行如下操作
1.在master進行Kubernetes集羣初始化。
kubeadm init --kubernetes-version=1.14.2 \
--apiserver-advertise-address=192.168.10.146 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16
定義POD的網段爲: 10.244.0.0/16， api server地址就是master本機IP地址。
這一步很關鍵，由於kubeadm 默認從官網k8s.grc.io下載所需鏡像，國內無法訪問，因此需要通過–image-repository指定阿里雲鏡像倉庫地址，很多新手初次部署都卡在此環節無法進行後續配置。
集羣初始化成功後返回如下信息：
kubeadm join 192.168.10.146:6443 --token e7o5g0.kjl4qcu5vqb2gxbr \
--discovery-token-ca-cert-hash sha256:8bc9a790c9c472c649fa197a41d6b9a64a028160cee24ab970f8bf941fae03b5
記錄生成的最後部分內容，此內容需要在其它節點加入Kubernetes集羣時執行。
kubeadm join 10.10.10.10:6443 --token kekvgu.nw1n76h84f4camj6 \
--discovery-token-ca-cert-hash sha256:4ee74205227c78ca62f2d641635afa4d50e6634acfaa8291f28582c7e3b0e30e
2.配置kubectl工具
mkdir -p /root/.kube
cp /etc/kubernetes/admin.conf /root/.kube/config
kubectl get nodes
kubectl get cs
3.部署flannel網絡
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml
五、部署node節點
注：在所有node節點上進行如下操作
執行如下命令，使所有node節點加入Kubernetes集羣
kubeadm join 192.168.10.146:6443 --token kekvgu.nw1n76h84f4camj6 \
--discovery-token-ca-cert-hash sha256:4ee74205227c78ca62f2d641635afa4d50e6634acfaa8291f28582c7e3b0e30e
此命令爲集羣初始化時（kubeadm init）返回結果中的內容。
錯誤
[root@slave1 local]# kubeadm join 192.168.10.146:6443 --token e7o5g0.kjl4qcu5vqb2gxbr --discovery-token-ca-cert-hash sha256:8bc9a790c9c472c649fa197a41d6b9a64a028160cee24ab970f8bf941fae03b5
[preflight] Running pre-flight checks
[WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
[preflight] Reading configuration from the cluster...
[preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml'
[kubelet-start] Downloading configuration for the kubelet from the "kubelet-config-1.15" ConfigMap in the kube-system namespace
error execution phase kubelet-start: configmaps "kubelet-config-1.15" is forbidden: User "system:bootstrap:e7o5g0" cannot get resource "configmaps" in API group "" in the namespace "kube-system"
六、集羣狀態檢測
注：在master節點上進行如下操作
1.在master節點輸入命令檢查集羣狀態，返回如下結果則集羣狀態正常。
kubectl get nodes
NAME STATUS ROLES AGE VERSION
master Ready master 26m v1.14.2
node1 Ready <none> 3m10s v1.14.2
node2 Ready <none> 3m v1.14.2
重點查看STATUS內容爲Ready時，則說明集羣狀態正常。
2.創建Pod以驗證集羣是否正常。
kubectl create deployment nginx --image=nginx
kubectl expose deployment nginx --port=80 --type=NodePort
kubectl get pod,svc
七、部署Dashboard
注：在master節點上進行如下操作
1.創建Dashboard的yaml文件
wget https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml
sed -i 's/k8s.gcr.io/loveone/g' kubernetes-dashboard.yaml
sed -i '/targetPort:/a\ \ \ \ \ \ nodePort: 30001\n\ \ type: NodePort' kubernetes-dashboard.yaml
2.部署Dashboard
kubectl create -f kubernetes-dashboard.yaml
3.創建完成後，檢查相關服務運行狀態
kubectl get deployment kubernetes-dashboard -n kube-system
kubectl get pods -n kube-system -o wide
kubectl get services -n kube-system
netstat -ntlp|grep 30001
4.在Firefox瀏覽器輸入Dashboard訪問地址：https://192.168.10.146:30001
5.查看訪問Dashboard的認證令牌
kubectl create serviceaccount dashboard-admin -n kube-system
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
[root@master ~]# kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
clusterrolebinding.rbac.authorization.k8s.io/dashboard-admin created
[root@master ~]# kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
Name: dashboard-admin-token-jxbzh
Namespace: kube-system
Labels: <none>
Annotations: kubernetes.io/service-account.name: dashboard-admin
kubernetes.io/service-account.uid: c6213940-a000-11e9-8a6c-000c2955f514
Type: kubernetes.io/service-account-token
Data
====
namespace: 11 bytes
token: eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2Vjcm
V0Lm5hbWUiOiJkYXNoYm9hcmQtYWRtaW4tdG9rZW4tanhiemgiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoiZGFzaGJvYXJkLWFkbWluIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiYzYyMTM5NDAtYTAwMC0xMWU5LThhNmMtMDAwYzI5NTVmNTE0Iiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50Omt1YmUtc3lzdGVtOmRhc2hib2FyZC1hZG1pbiJ9.Vt920ll4q9H8nCT-I3LYoL7O6jCEwDVMCqaf7sQDLN0f5fce9XkOTMHjws6DmLfTsQ6FG8WdSW9_EqvsT0RWZRZJfWaFNLr4re4ybjYypoPBVtXLWwbE2FAKg5QVLfLscSbmDIZQb5-GavQH81ypvOkeOTobRjBSA5FlOpqBu81nKYsHYEODNZweTvag_f4OGIQbt6-7_l0n4Dati82aO_XgiNxQEj3Yy30gmt60wtMRj3w8ibagAb2OUgeLwiKE-H5MLbeF1VpBaaOO0mAVbA4uqs6qgITLzz9bfU6i7ERZw7Je958X-27dYy7YWWT57jKLVqonBdAP-Slq6Yt1fwca.crt: 1025 bytes
[root@master ~]#
6.使用輸出的token登錄Dashboard。
認證通過後，登錄Dashboard首頁如圖
