文章目錄
我是Erics，普普通通的一人，腦子有點笨，但還是在爲自己的夢想拼搏着
1. 虛擬服務器的構建
這裏需要用到5臺虛擬服務器，其中三臺是節點服務器。另外兩臺分別是裝有 Harbor 私有倉庫的服務器和安裝koolshare軟路由的服務器：
2. 安裝軟路由
指定使用老毛桃鏡像，啓動軟路由服務器：
啓動後選擇第一項，啓動 Win10 X64 PE：
將光盤換成封裝了軟路由的文件：
將軟路由的img文件寫入磁盤中：
取消設備狀態下的選項，將鏡像文件從光驅中彈出：
關機然後爲這臺服務器添加一塊新的虛擬網卡，將該網卡的網絡連接方式設置爲NET模式：
服務器一端使用NET網絡連接方式可以連接本地主機的網絡，共享本地主機的IP地址，通過本機主機上網。服務器的另外一端通過僅主機網絡與 K8S 節點相連。koolshare上會運行一個叫 ssr 的插件，使用這個 ssr 插件可以通過本地主機實現 Surfing Scientifically，讓 K8S 集羣擁有訪問Google、連接鏡像服務器的能力。這樣就可以直接在網絡上進行初始化。
編輯虛擬網絡，使用本地DHCP服務分發IP地址：
3. 系統初始化
在大型環境下建議通過DNS的方式使各個節點的主機和IP能夠相互解析，小型環境下直接修改hosts文件就可以了，因爲如果DNS掛掉集羣就沒有作用了。系統初始化是三臺主機都需要做的。
設置master主機和兩臺node主機的名稱，設置完成後重啓才能生效：
[root@localhost ~]# hostnamectl set-hostname k8s-master-01
配置master的hosts文件並把配置好的文件傳輸給兩個兩臺node主機：
[root@k8s-master-01 ~]# vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.0.0.2 k8s-master-01
10.0.0.3 k8s-node-01
10.0.0.4 k8s-node-02
[root@k8s-master-01 ~]# scp /etc/hosts root@k8s-node-01:/etc
[root@k8s-master-01 ~]# scp /etc/hosts root@k8s-node-02:/etc
安裝依賴包，以master爲例：
[root@k8s-master-01 ~]# yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wgetvimnet-tools git
關閉firewalld防火牆，防火牆設爲 Iptables，還要設置空規則並保存。然後關閉firewalld：
[root@k8s-master-01 ~]# yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save
[root@k8s-master-01 ~]# systemctl stop firewalld && systemctl disable firewalld
關閉虛擬內存和SELINUX：
[root@k8s-master-01 ~]# swapoff -a && sed -i '/swap/ s/^\(.*\)$/#\1/g' /etc/fstab
[root@k8s-master-01 ~]# setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
安裝k8s的時候初始化的時候會檢測swap分區是否關閉，如果開啓了虛擬內存，容器pod就有可能在虛擬內存中運行，大大降低工作效率。會要求服務器強制關閉虛擬內存，雖然可以排除這個報錯，但是建議還是要關閉。
調整內核參數，關閉ipv6的協議和開啓網橋模式比較重要，是安裝k8s必須要選擇的。其它幾條是優化方案：
[root@k8s-master-01 ~]# cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 # 禁止使用 swap 空間，只有當系統 OOM 時才允許使用它
vm.overcommit_memory=1 # 不檢查物理內存是否夠用
vm.panic_on_oom=0 # 開啓 OOM
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF
[root@k8s-master-01 ~]# ls
anaconda-ks.cfg kubernetes.conf
將優化的文件放在/etc/sysctl.d/目錄下，保證開機的時候可以被調用。然後手動刷新，立刻生效：
[root@k8s-master-01 ~]# cp kubernetes.conf /etc/sysctl.d/kubernetes.conf
[root@k8s-master-01 ~]# sysctl -p /etc/sysctl.d/kubernetes.conf
sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-iptables: 沒有那個文件或目錄
sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-ip6tables: 沒有那個文件或目錄
net.ipv4.ip_forward = 1
net.ipv4.tcp_tw_recycle = 0
vm.swappiness = 0 # 禁止使用 swap 空間，只有當系統 OOM 時才允許使用它
vm.overcommit_memory = 1 # 不檢查物理內存是否夠用
vm.panic_on_oom = 0 # 開啓 OOM
fs.inotify.max_user_instances = 8192
fs.inotify.max_user_watches = 1048576
fs.file-max = 52706963
fs.nr_open = 52706963
net.ipv6.conf.all.disable_ipv6 = 1
net.netfilter.nf_conntrack_max = 2310720
調整系統的時區，如果安裝的時候沒有選擇Asia/Shanghai主機都需要設置下時區：
[root@k8s-master-01 ~]# timedatectl set-timezone Asia/Shanghai
[root@k8s-master-01 ~]# timedatectl set-local-rtc 0
[root@k8s-master-01 ~]# systemctl restart rsyslog
[root@k8s-master-01 ~]# systemctl restart crond
關閉系統不需要的服務，如郵件服務：
[root@k8s-master-01 ~]# systemctl stop postfix && systemctl disable postfix
設置rsyslog和systemd journald：
# 創建持久化保存日誌的目錄
[root@k8s-master-01 ~]# mkdir /var/log/journal
# 創建配置文件存放目錄
[root@k8s-master-01 ~]# mkdir /etc/systemd/journald.conf.d
# 創建配置文件
[root@k8s-master-01 ~]# cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
# 持久化保存到磁盤
Storage=persistent
# 壓縮歷史日誌
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
# 最大佔用空間 10G
SystemMaxUse=10G
# 單日誌文件最大 200M
SystemMaxFileSize=200M
# 日誌保存時間 2 周
MaxRetentionSec=2week
# 不將日誌轉發到 syslog
ForwardToSyslog=no
EOF
重啓systemd journald：
[root@k8s-master-01 ~]# systemctl restart systemd-journald
在CentsOS7之後引導方式改爲了ctud，會有兩個日誌系統在同時工作。默認是rsyslogd，另外一個是systemd journald。使用systemd journald的方案更好以下，所以需要把systemd journald改爲默認。
CentOS 7.x 系統自帶的 3.10.x 內核存在一些 Bugs，導致運行的 Docker、Kubernetes 不穩定。所以需要去安裝4.44內核版本，可以有效提高Kubernetes的穩定性。
[root@k8s-master-01 ~]# rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
安裝完成後檢查 /boot/grub2/grub.cfg 中對應內核 menuentry 中是否包含 initrd16 配置，如果沒有，再安裝一次：
[root@k8s-master-01 ~]# yum --enablerepo=elrepo-kernel install -y kernel-lt
設置開機從新內核啓動（默認啓動的內核），然後重啓後查看是否是新內核啓動：
[root@k8s-master-01 ~]# grub2-set-default 'CentOS Linux (4.4.226-1.el7.elrepo.x86_64) 7 (Core)'
[root@k8s-master-01 ~]# reboot
[root@k8s-master-01 ~]# uname -a
Linux k8s-master-01 4.4.226-1.el7.elrepo.x86_64 #1 SMP Tue Jun 2 09:51:15 EDT 2020 x86_64 x86_64 x86_64 GNU/Linux
4. 開啓IPVS的前置條件
kube-proxy 主要解決 svc 與 pod 之間的調度關係，IPVS 的調度方式可以極大增加訪問效率，所以這種方式是非常必備的方式。開啓 IPVS 的前置條件，加載 netfilter 模塊，三臺主機都需要做下面的操作。
[root@k8s-master-01 ~]# modprobe br_netfilter
創建引導 IPVS 相關依賴（模塊）加載的文件：
[root@k8s-master-01 ~]# cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
賦予755權限然後執行這個文件：
[root@k8s-master-01 ~]# chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules
查看模塊是否被引導：
[root@k8s-master-01 ~]# lsmod | grep -e ip_vs -e nf_conntrack_ipv4
nf_conntrack_ipv4 20480 0
nf_defrag_ipv4 16384 1 nf_conntrack_ipv4
ip_vs_sh 16384 0
ip_vs_wrr 16384 0
ip_vs_rr 16384 0
ip_vs 147456 6 ip_vs_rr,ip_vs_sh,ip_vs_wrr
nf_conntrack 114688 2 ip_vs,nf_conntrack_ipv4
libcrc32c 16384 2 xfs,ip_vs
5. 安裝Docker
三臺主機都需要安裝Docker，安裝Docker軟件的依賴：
[root@k8s-master-01 ~]# yum install -y yum-utils device-mapper-persistent-data lvm2
導入阿里源docker-ce鏡像倉庫：
[root@k8s-master-01 ~]# yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
更新系統，然後安裝docker-ce：
[root@k8s-master-01 ~]# yum update -y && yum install -y docker-ce
安裝完成之後，將內核版本重新設置爲新版本，然後 重啓：
[root@k8s-master-01 ~]# grub2-set-default 'CentOS Linux (4.4.226-1.el7.elrepo.x86_64) 7 (Core)'
[root@k8s-master-01 ~]# reboot
配置使用新內核啓動被修改了！
啓動docker並且設置爲開機自啓：
[root@k8s-master-01 ~]# systemctl start docker && systemctl enable docker
配置daemon，daemon.json相當於子配置文件：
[root@k8s-master-01 ~]# cat > /etc/docker/daemon.json <<EOF
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
}
}
EOF
創建目錄用來存放Docker生成的子配置文件：
[root@k8s-master-01 ~]# mkdir -p /etc/systemd/system/docker.service.d
重新讀取配置文件，然後重啓Docker，開機自啓動：
[root@k8s-master-01 ~]# systemctl daemon-reload && systemctl restart docker && systemctl enable docker
6. 安裝Kubeadm
三臺主機都 需要安裝Kubeadm，添加Kubeadm的yum倉庫：
[root@k8s-master-01 ~]# cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
安裝 Kubeadm、kubectl 和 kubelet：
[root@k8s-master-01 ~]# yum -y install kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1
設置kubelet開機自啓：
[root@k8s-master-01 ~]# systemctl enable kubelet.service
kubelet需要和容器接口交互，啓動容器。而我們的K8S通過kubeadn安裝之後都是以pod的方式存在，底層是以容器的方式運行。
7. 初始化節點
Kubeadm在初始化K8S集羣的時候會從GCE谷歌的雲服務器里拉去所需要的鏡像，所以需要 Surfing Scientifically。如果有SSR可以通過軟路由的方式讓我們的所有機器 Surfing Scientifically。由於沒有SSR的原因，所以這裏把鏡像打包成壓縮文件來安裝。
從本地把 kubeadm-basic.images.tar.gz 鏡像文件上傳到三臺服務器：
thanlon@thanlon:~$ scp kubeadm-basic.images.tar.gz root@10.0.0.2:/root/
thanlon@thanlon:~$ scp kubeadm-basic.images.tar.gz root@10.0.0.3:/root/
thanlon@thanlon:~$ scp kubeadm-basic.images.tar.gz root@10.0.0.4:/root/
解壓鏡像文件：
[root@k8s-master-01 ~]# tar zxvf kubeadm-basic.images.tar.gz
kubeadm-basic.images/
kubeadm-basic.images/coredns.tar
kubeadm-basic.images/etcd.tar
kubeadm-basic.images/pause.tar
kubeadm-basic.images/apiserver.tar
kubeadm-basic.images/proxy.tar
kubeadm-basic.images/kubec-con-man.tar
kubeadm-basic.images/scheduler.tar
使用 shell 腳本把子鏡像導入：
[root@k8s-master-01 ~]# vim load-images.sh
load-images.sh
#!/usr/bin/bash
ls /root/kubeadm-basic.images > /tmp/image-list.txt
cd /root/kubeadm-basic.images
for i in $( cat /tmp/image-list.txt )
do
docker load -i $i
done
rm -rf /tmp/image-list.txt
給腳本賦予可以所有用戶可以執行的權限，然後執行這個腳本，非主節點的兩臺主機執行這個腳本之後下面的所有作不再執行，直到網絡部署部分加入子節點：
[root@k8s-master-01 ~]# chmod a+x load-images.sh
[root@k8s-master-01 ~]# ./load-images.sh
顯示 init-default 默認的初始化文件打印到kubeadm-config.yaml文件中，這樣就獲得了kubeadm默認的初始化模板：
[root@k8s-master-01 ~]# kubeadm config print init-defaults > kubeadm-config.yaml
修改服務器的節點地址、kubernets版本配置，增加podSubnet和修改默認調度方式改爲IPVS的字段（文件#號標識處需要刪除）：
[root@k8s-master-01 ~]# vim kubeadm-config.yaml
apiVersion: kubeadm.k8s.io/v1beta2
bootstrapTokens:
- groups:
- system:bootstrappers:kubeadm:default-node-token
token: abcdef.0123456789abcdef
ttl: 24h0m0s
usages:
- signing
- authentication
kind: InitConfiguration
localAPIEndpoint:
advertiseAddress: 10.0.0.2 # 需要修改當前節點
bindPort: 6443
nodeRegistration:
criSocket: /var/run/dockershim.sock
name: k8s-node-01
taints:
- effect: NoSchedule
key: node-role.kubernetes.io/master
---
apiServer:
timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns:
type: CoreDNS
etcd:
local:
dataDir: /var/lib/etcd
imageRepository: k8s.gcr.io
kind: ClusterConfiguration
kubernetesVersion: v1.15.1 # 需要修改kubernetes的版本
networking:
dnsDomain: cluster.local
podSubnet: "10.244.0.0/16" # 新添加podSubnet字段
serviceSubnet: 10.96.0.0/12
scheduler: {} # 默認的調度方式改爲IPVS
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
featureGates:
SupportIPVSProxyMode: true
mode: ipvs
指定從哪個yaml文件安裝以及制度頒發證書和把所有信息寫入到kubeadm-init.log中，可用的CPU不少於2個，一核心2個處理器數量也是可以的：
[root@k8s-node-01 ~]# kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log
1.13版之後才Kubeadm開始支持高可用，可以讓其它子結點自動頒發證書。
Kubernetes初始化成功之後，在當前家目錄下創建.kube目錄用來保存連接配置，認證文件config也會被保存在這個目錄中：
[root@k8s-master-01 ~]# mkdir -p $HOME/.kube
[root@k8s-master-01 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@k8s-master-01 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
kubecrl需要採用hps協議與kuber api交互，交互的時候產生的緩存會保存在.kube目錄下。
查看當前有哪些節點：
[root@k8s-master-01 ~]# kubectl get node
NAME STATUS ROLES AGE VERSION
k8s-node-01 NotReady master 18m v1.15.1
8. 網絡部署
創建flannelc網絡插件，需要把子結點加入到主節點。master主機中主節點操作如下：
[root@k8s-master-01 ~]# mkdir install-k8s
[root@k8s-master-01 ~]# mv kubeadm-init.log kubeadm-config.yaml install-k8s/
[root@k8s-master-01 ~]# cd install-k8s/
[root@k8s-master-01 install-k8s]# mkdir core
[root@k8s-master-01 install-k8s]# mv * core/
[root@k8s-master-01 install-k8s]# mkdir plugin
[root@k8s-master-01 install-k8s]# cd plugin/
[root@k8s-master-01 plugin]# mkdir flannel
[root@k8s-master-01 flannel]# wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
[root@k8s-master-01 flannel]# kubectl create -f kube-flannel.yml
[root@k8s-master-01 flannel]# kubectl get pod -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-5c98db65d4-scccx 1/1 Running 0 25m
coredns-5c98db65d4-sppjh 1/1 Running 0 25m
etcd-k8s-node-01 1/1 Running 0 24m
kube-apiserver-k8s-node-01 1/1 Running 0 24m
kube-controller-manager-k8s-node-01 1/1 Running 0 24m
kube-flannel-ds-amd64-tbkgv 1/1 Running 0 59s
kube-proxy-bp2bd 1/1 Running 0 25m
kube-scheduler-k8s-node-01 1/1 Running 0 24m
[root@k8s-master-01 flannel]# kubectl get node
NAME STATUS ROLES AGE VERSION
k8s-node-01 Ready master 25m v1.15.1
[root@k8s-master-01 ~]# ip a
6: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default
link/ether 5e:58:2e:f9:37:39 brd ff:ff:ff:ff:ff:ff
inet 10.244.0.0/32 scope global flannel.1
查看日誌：
[root@k8s-master-01 core]# cat kubeadm-init.log
將子結點加入進來：
[root@k8s-node-01 ~]# kubeadm join 10.0.0.2:6443 --token abcdef.0123456789abcdef --discovery-token-ca-cert-hash sha256:930e41e2c62450d2cd3e3cfc609cf2d43242bf35e73e48b8555797245c9c9e7e
master主機上查看節點信息：
[root@k8s-master-01 ~]# kubectl get nodes
[root@k8s-master-01 core]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-master-01 Ready master 82m v1.15.1
k8s-node-01 Ready <none> 17m v1.15.1
master主機上查看詳細的節點信息：
[root@k8s-master-01 ~]# kubectl get nodes -o wide
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
k8s-master-01 Ready master 9h v1.15.1 10.0.0.2 <none> CentOS Linux 7 (Core) 4.4.226-1.el7.elrepo.x86_64 docker://19.3.11
k8s-node-01 Ready <none> 8h v1.15.1 10.0.0.3 <none> CentOS Linux 7 (Core) 4.4.226-1.el7.elrepo.x86_64 docker://19.3.11
k8s-node-02 Ready <none> 5h22m v1.15.1 10.0.0.4 <none> CentOS Linux 7 (Core) 4.4.226-1.el7.elrepo.x86_64 docker://19.3.11
監視的方式查看節點信息，實時查看有沒有變化：
[root@k8s-master-01 core]# kubectl get pod -n kube-system -w
查看更詳細的節點信息：
[root@k8s-master-01 core]# kubectl get pod -n kube-system -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
coredns-5c98db65d4-r6sbc 1/1 Running 4 9h 10.244.0.15 k8s-master-01 <none> <none>
coredns-5c98db65d4-zq2xf 1/1 Running 4 9h 10.244.0.14 k8s-master-01 <none> <none>
etcd-k8s-master-01 1/1 Running 6 9h 10.0.0.2 k8s-master-01 <none> <none>
kube-apiserver-k8s-master-01 1/1 Running 6 9h 10.0.0.2 k8s-master-01 <none> <none>
kube-controller-manager-k8s-master-01 1/1 Running 6 9h 10.0.0.2 k8s-master-01 <none> <none>
kube-flannel-ds-amd64-gd55v 1/1 Running 2 8h 10.0.0.3 k8s-node-01 <none> <none>
kube-flannel-ds-amd64-l8xtd 1/1 Running 7 9h 10.0.0.2 k8s-master-01 <none> <none>
kube-flannel-ds-amd64-xcwmt 1/1 Running 0 5h18m 10.0.0.4 k8s-node-02 <none> <none>
kube-proxy-5gm9j 1/1 Running 6 9h 10.0.0.2 k8s-master-01 <none> <none>
kube-proxy-n2gkx 1/1 Running 0 5h18m 10.0.0.4 k8s-node-02 <none> <none>
kube-proxy-zl82c 1/1 Running 2 8h 10.0.0.3 k8s-node-01 <none> <none>
kube-scheduler-k8s-master-01 1/1 Running 6 9h 10.0.0.2 k8s-master-01 <none> <none>
全部是Running狀態之後，節點的狀態就是Ready了。
至此，Kubernetes集羣1.15版本部署完成。
9. 配置Harbor私有倉庫
在Harbor主機上更新Linux的內核爲4.44版本和安裝Docker，前面已經敘述過，這裏不再贅述。
默認Docker的倉庫是https的訪問，由於沒有證書的原因，所以這裏做個假的證書，在局域網內使用的。但是需要告訴Docker這是安全的，可以正常訪問的。其它幾個節點要做修改：
[root@harbor ~]# vim /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"insecure-registries":["https://hub.atguigu.com"]
}
[root@harbor ~]# systemctl restart docker
將 harbor 安裝包從本地主機傳到 harbor 服務器：
thanlon@thanlon:~$ scp harbor-offline-installer-v1.2.0.tgz root@10.0.0.5:/root
在線安裝 docker-compose，安裝到 /usr/local/bin
[root@harbor harbor]# curl -L "https://github.com/docker/compose/releases/download/1.7.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
[root@harbor harbor]# cd /usr/local/bin/
[root@harbor bin]# chmod a+x docker-compose
修改harbor.cfg配置文件：
[root@harbor ~]# tar zxvf harbor-offline-installer-v1.2.0.tgz
# 將harbor文件夾放到/usr/local/下
[root@harbor ~]# mv harbor /usr/local/
[root@harbor ~]# cd /usr/local/harbor/
# 便加harbor配置文件，將原來默認的http和hostname做修改，docker默認是https的
[root@harbor harbor]# vim harbor.cfg
ui_url_protocol = https
hostname = hub.atguigu.com
[root@harbor harbor]# mkdir -p /data/cert/
創建 https 證書以及配置相關目錄權限證書以及配置相關目錄權：
# 跳轉到證書目錄
[root@harbor cert]# cd !$
cd /data/cert/
# 申請私鑰，輸入錯誤要把文件刪除重新輸入，兩次輸入的私鑰密碼要一樣
[root@harbor cert]# openssl genrsa -des3 -out server.key 2048
# 創建出證書的請求server.csr，需要先輸入四要密碼
[root@harbor cert]# openssl req -new -key server.key -out server.csr
Enter pass phrase for server.key:
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [XX]:CN
State or Province Name (full name) []:SH
Locality Name (eg, city) [Default City]:SH
Organization Name (eg, company) [Default Company Ltd]:atguigu
Organizational Unit Name (eg, section) []:atguigu
Common Name (eg, your name or your server's hostname) []:hub.atguigu.com
Email Address []:erics1996@yeah.net
Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []:
An optional company name []:
# 備份私鑰
[root@harbor cert]# cp server.key server.key.org
# 轉換成證書。Docker引導採用Nginx當前端的，Docker啓動時，如果證書有密碼，引導不會成功。所以，需要退下密碼。
[root@harbor cert]# openssl rsa -in server.key.org -out server.key
Enter pass phrase for server.key.org:
writing RSA key
# 退出之後，拿這個證書請求籤名。證書生成成功。
[root@harbor cert]# openssl x509 -req -days 365 -in server.csr -signkey server.key -out server.crt
Signature ok
subject=/C=CN/ST=SH/L=SH/O=atguigu/OU=atguigu/CN=hub.atguigu.com/emailAddress=erics1996@yeah.net
Getting Private key
# 給證書賦予執行的權限
[root@harbor cert]# chmod a+x *
安裝harbor：
# 執行安裝腳本
[root@harbor harbor]# ./install.sh
[root@harbor harbor]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
4fd96cb9c1de vmware/harbor-jobservice:v1.2.0 "/harbor/harbor_jobs…" 7 minutes ago Up 7 minutes harbor-jobservice
9a7993ae3b15 vmware/nginx-photon:1.11.13 "nginx -g 'daemon of…" 7 minutes ago Up 7 minutes 0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp, 0.0.0.0:4443->4443/tcp nginx
a79185e576e2 vmware/harbor-ui:v1.2.0 "/harbor/harbor_ui" 7 minutes ago Up 7 minutes harbor-ui
dc1b31406087 vmware/harbor-adminserver:v1.2.0 "/harbor/harbor_admi…" 7 minutes ago Up 7 minutes harbor-adminserver
1d6178cb1d18 vmware/harbor-db:v1.2.0 "docker-entrypoint.s…" 7 minutes ago Up 7 minutes 3306/tcp harbor-db
2fac5e9a43ce vmware/registry:2.6.2-photon "/entrypoint.sh serv…" 7 minutes ago Up 7 minutes 5000/tcp registry
ede9c0885d71 vmware/harbor-log:v1.2.0 "/bin/sh -c 'crond &…" 7 minutes ago Up 7 minutes 127.0.0.1:1514->514/tcp harbor-log
修改本地域名解析，每一臺服務器都需要做解析，也可以相互傳送配置好的hosts：
[root@k8s-master-01 ~]# echo '10.0.0.5 hub.atguigu.com'>>/etc/hosts
[root@k8s-master-01 ~]# scp /etc/hosts root@10.0.0.5:/etc/
安裝harbor後，可以通過本地瀏覽器訪問harbor服務器，默認端口是80。默認用戶名是 admin，密碼是：Harbor12345：
到這裏，我們的倉庫就有了。
10. Harbor私有倉庫的使用
下面看K8S可不可以利用上面創建的倉庫，當然K8S利用之前，Docker要利用上。使用Docker來登錄：
[root@k8s-master-01 ~]# docker login https://hub.atguigu.com
Username: admin
Password:
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
下載一個鏡像，然後推送到倉庫中：
[root@k8s-master-01 ~]# docker pull wangyanglinux/myapp:v1
[root@k8s-master-01 ~]# docker tag wangyanglinux/myapp:v1 hub.atguigu.com/library/myapp:v1
[root@k8s-master-01 ~]# docker push hub.atguigu.com/library/myapp:v1
接下來在K8S中啓動一些pod，檢查能不能利用這個私有倉庫
# 查看測試節點master的鏡像
[root@k8s-master-01 ~]# docker images
# 刪除上面pull的鏡像
[root@k8s-master-01 ~]# docker rmi -f wangyanglinux/myapp:v1
[root@k8s-master-01 ~]# docker rmi -f hub.atguigu.com/library/myapp:v1
測試K8S的集羣是否可用以及到底可不可以和Harbor鏡像倉庫連接起來，如果下載次數增加，說明可用：
# 可以先看下pob是怎麼運行的，後面會通過資源清單的方式
[root@k8s-master-01 ~]# kubectl run --help
[root@k8s-master-01 ~]# kubectl run nginx-deployment --image=hub.atguigu.com/library/myapp:v1 --port=80 --replicas=1
[root@k8s-master-01 ~]# kubectl get deployment
NAME READY UP-TO-DATE AVAILABLE AGE
nginx-deployment 1/1 1 1 17m
# deployment會鏈接rs
[root@k8s-master-01 ~]# kubectl get rs
NAME DESIRED CURRENT READY AGE
nginx-deployment-85756b779 1 1 1 17m
[root@k8s-master-01 ~]# kubectl get pod
NAME READY STATUS RESTARTS AGE
nginx-deployment-85756b779-pdr56 1/1 Running 0 3m1s
[root@k8s-master-01 ~]# kubectl get pod -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx-deployment-85756b779-pdr56 1/1 Running 1 13m 10.244.2.4 k8s-node-02 <none> <none>
可以發現pod運行在了 k8s-node-02 節點上，測試 k8s-node-02 節點有沒有運行這個 pob，發現有在運行這個pob：
[root@k8s-node-01 ~]# docker ps -a|grep nginx
49a32eda5558 hub.atguigu.com/library/myapp "nginx -g 'daemon of…" 3 minutes ago Up 3 minutes k8s_nginx-deployment_nginx-deployment-85756b779-t9ldc_default_a633801e-4a72-4ff9-baf5-041a1abff8f4_0
d2ca85d6062f k8s.gcr.io/pause:3.1 "/pause" 3 minutes ago Up 3 minutes k8s_POD_nginx-deployment-85756b779-t9ldc_default_a633801e-4a72-4ff9-baf5-041a1abff8f4_0
只要運行了一個pob，就會有/pause
並且可以發現Harber鏡像倉庫下載數發生了改變，說明 K8S 可以與 Harbor私有倉庫進行連接了：
如果要訪問節點中運行的應用，需要通過私有IP，這是個扁平化的網絡，直接訪問也是可以的：
[root@k8s-master-01 ~]# curl 10.244.1.4
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>
[root@k8s-master-01 ~]# curl 10.244.1.4/hostname.html
nginx-deployment-85756b779-t9ldc
[root@k8s-node-01 ~]# curl 10.244.1.4
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>
# 用到了pod容器裏面的hostname，hostname設置pod名稱
[root@k8s-node-01 ~]# curl 10.244.1.4/hostname.html
nginx-deployment-85756b779-t9ldc
使用Harbor私有倉庫，可以減輕網絡資源的壓力。
11. K8S的優點
如果我們刪除一個pod，發現又會新加入一個 pob，這是因爲我們在運行 pod 的時候就已經指明 副本數 一定爲1，如果刪除了，就不爲1了。所以，爲了保持副本數爲1，會運行一個新的pod：
[root@k8s-master-01 ~]# kubectl get pod
NAME READY STATUS RESTARTS AGE
nginx-deployment-85756b779-t9ldc 1/1 Running 1 8h
[root@k8s-master-01 ~]# kubectl delete pod nginx-deployment-85756b779-t9ldc
pod "nginx-deployment-85756b779-t9ldc" deleted
[root@k8s-master-01 ~]# kubectl get pod
NAME READY STATUS RESTARTS AGE
nginx-deployment-85756b779-dzlh7 1/1 Running 0 4s
如果一個壓力太大，也可以擴容副本。同樣副本的期望值已確定，刪除 pod 就會運行一個新的pod：
[root@k8s-master-01 ~]# kubectl get deployment
NAME READY UP-TO-DATE AVAILABLE AGE
nginx-deployment 1/1 1 1 8h
[root@k8s-master-01 ~]# kubectl scale --replicas=4 deployment/nginx-deployment
deployment.extensions/nginx-deployment scaled
[root@k8s-master-01 ~]# kubectl get deployment
NAME READY UP-TO-DATE AVAILABLE AGE
nginx-deployment 4/4 4 4 9h
[root@k8s-master-01 ~]# kubectl get pod
NAME READY STATUS RESTARTS AGE
nginx-deployment-85756b779-dzlh7 1/1 Running 0 115s
nginx-deployment-85756b779-jh8gj 1/1 Running 0 13s
nginx-deployment-85756b779-mqfwz 1/1 Running 0 13s
nginx-deployment-85756b779-t48bf 1/1 Running 0 13s
[root@k8s-master-01 ~]# kubectl get pod -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx-deployment-85756b779-dzlh7 1/1 Running 0 2m1s 10.244.2.7 k8s-node-02 <none> <none>
nginx-deployment-85756b779-jh8gj 1/1 Running 0 19s 10.244.2.8 k8s-node-02 <none> <none>
nginx-deployment-85756b779-mqfwz 1/1 Running 0 19s 10.244.1.7 k8s-node-01 <none> <none>
nginx-deployment-85756b779-t48bf 1/1 Running 0 19s 10.244.1.6 k8s-node-01 <none> <none>
svc機制其實調度的是LVS模塊實現負載均衡，調度方式是輪詢：
[root@k8s-master-01 ~]# kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 27h
[root@k8s-master-01 ~]# kubectl expose deployment nginx-deployment --port=30000 --target-port=80
service/nginx-deployment exposed
[root@k8s-master-01 ~]# kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 27h
nginx-deployment ClusterIP 10.109.155.157 <none> 30000/TCP 3s
[root@k8s-master-01 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.96.0.1:443 rr
-> 10.0.0.2:6443 Masq 1 3 0
TCP 10.96.0.10:53 rr
-> 10.244.0.33:53 Masq 1 0 0
-> 10.244.0.34:53 Masq 1 0 0
TCP 10.96.0.10:9153 rr
-> 10.244.0.33:9153 Masq 1 0 0
-> 10.244.0.34:9153 Masq 1 0 0
TCP 10.109.155.157:30000 rr
-> 10.244.1.12:80 Masq 1 0 0
-> 10.244.1.13:80 Masq 1 0 0
-> 10.244.2.13:80 Masq 1 0 0
-> 10.244.2.14:80 Masq 1 0 1
UDP 10.96.0.10:53 rr
-> 10.244.0.33:53 Masq 1 0 0
-> 10.244.0.34:53 Masq 1 0 0
[root@k8s-master-01 ~]# curl 10.109.155.157:30000/hostname.html
nginx-deployment-85756b779-nns5m
[root@k8s-master-01 ~]# curl 10.109.155.157:30000/hostname.html
nginx-deployment-85756b779-jrr2n
[root@k8s-master-01 ~]# curl 10.109.155.157:30000/hostname.html
nginx-deployment-85756b779-rb9bm
[root@k8s-master-01 ~]# curl 10.109.155.157:30000/hostname.html
nginx-deployment-85756b779-8lsjk
[root@k8s-master-01 ~]# curl 10.109.155.157:30000/hostname.html
nginx-deployment-85756b779-nns5m
[root@k8s-master-01 ~]# curl 10.109.155.157:30000/hostname.html
nginx-deployment-85756b779-jrr2n
[root@k8s-master-01 ~]# ipvsadm -Ln|grep 10.109.155.157
TCP 10.109.155.157:30000 rr
[root@k8s-master-01 ~]# kubectl get pod -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx-deployment-85756b779-8lsjk 1/1 Running 0 27m 10.244.2.14 k8s-node-02 <none> <none>
nginx-deployment-85756b779-jrr2n 1/1 Running 0 27m 10.244.1.13 k8s-node-01 <none> <none>
nginx-deployment-85756b779-nns5m 1/1 Running 0 28m 10.244.2.13 k8s-node-02 <none> <none>
nginx-deployment-85756b779-rb9bm 1/1 Running 0 27m 10.244.1.12 k8s-node-01 <none> <none>
在外部訪問Kubernets內部的服務，需要修改svc的類型改爲NodePort：
# 只需要修改svc的類型
[root@k8s-master-01 ~]# kubectl edit svc nginx-deployment
service/nginx-deployment edited
nginx-deployment NodePort 10.109.155.157 <none> 30000:30469/TCP 14m
[root@k8s-master-01 ~]# netstat -tunlp|grep 30000
[root@k8s-master-01 ~]# netstat -tunlp|grep 30469
tcp6 0 0 :::30469 :::* LISTEN 3043/kube-proxy
30469就是Kubernets內部服務暴露到外部的端口，所有節點都可以訪問內部服務：
