編者語

Kubernetes作爲新一代雲計算平臺，自2014年開源以來得到快速發展（2016年）並逐步成熟（2018年），極大推動了雲原生領域及技術（微服務、FaaS和Serverless）的發展，被譽爲影響雲計算未來10年的革新技術。隨着Kubernetes及其生態的廣泛成熟，我想2020年除了那些大廠外，在中小型IT公司Kubernetes也一定得到的普遍青睞和積極採用。可以說2020年是Kubernetes大踏步進入中小企業市場的最佳時機，因此作爲開發人員，很有必要花點時間跟進學習下Kubernetes這門新技術。本文結合自己的實踐分享下Kubernetes簡單快速上手過程（簡稱快手指南，哈哈)，希望對大家有所幫助。

注：從 Google 搜索引擎的趨勢數據來看，Kubernetes和Spring Boot的關注度同趨勢地從2016年後迅猛增長，而相應OpenStack和Hadoop在2016後遇冷下降明顯，折射着雲計算2.0時代的到來。

目標

作爲新人，Kubernetes上手普遍存在如下痛點：

技術門檻較高，有較多概念和依賴。例如：Docker技術棧、Kubernetes體系新名詞、複雜的YAML配置讓人頭疼。
部署困難。例如：多節點羣集，多個部署工具和方式選擇困難，Kubernetes部署過程中問題多。
欠缺好的文章指導，目前能Google搜索的技術文章不是滯後就是凌亂，而官方文檔雖然權威、詳盡，但新人起步的針對性不足。
讓人心煩的網絡和存儲配置。作爲雲計算平臺，除了計算容器化外，平臺的網絡和存儲需要額外選擇和配置。
額外的應用適配。搭建好了的平臺，只有跑上我們開發的應用纔是終極勝利。但這又是另外一件不很輕鬆的事情。

基於以上常見痛點，本文結合實驗室搭建的Kubernetes演示環境，通過“所見即所得”方式來講解下具體的實踐過程，希望能達到如下目標：

通過試用免費開放的實驗環境，增強體驗感和可操作性；
Github提供同步學習的源代碼，增強演示過程的可複製性，讓所見即所得；
精簡Kubernetes概念，快速瞭解核心內容；
同步最新版本，通過Step-by-Step方式跳過各種坑，輕鬆部署Kubernetes；
通過運行演示的NodeJs和SpringBoot應用，達到學以致用的最終目標；
面向產線增加關鍵知識點延伸，便於接下來進一步拓展學習；

預演

本教程涉及源代碼可以通過如下方式下載：

國內Gitlab: https://gitlab.abcxlab.com/bootcamp/k8s-quick-start
國外Github：https://github.com/abcxlab/k8s-quick-start

本教程支持在線演示環境體驗，具體訪問方式如下：

羣集演示地址: https://k8s.abcxlab.com/
演示登錄Token: 請掃碼關注ABC實驗室微信公衆號，輸入”k8s” 即可獲取。

演示羣集Dashboard截圖

建議先體驗演示環境，獲取直觀感受！

概述

Kubernetes 希臘語爲“舵手”，是一個輕便、可擴展的工業級容器編排平臺，用於管理容器化應用和服務。Google基於內部Borg系統研發並於2014年正式開源，目前最新發布了V1.18版本。

架構

Kubernetes架構如下圖所示

Kubernetes羣集一個主從的分佈式架構，由Master節點（多個）組成的控制平面和Work節點（多個）組成的數據計算平面共同組成。主要組件如下：

API Server：負責所有組件之間通信，並負責存儲狀態和配置到Etcd庫中;
Controller Manager：包含不同類型的羣集控制器（如ReplicationSet/Deployment/Service等控制器），執行羣集級別的功能，如複製組件、持續跟蹤工作節點、處理節點識別等;
Scheduler：重點負責給應用的Pod調度分配相應節點;
Etcd：一個可靠的分佈式數據存儲，持久化保存羣集狀態和元數據;
Kubelet：管理所在工作節點的所有容器，並持續跟蹤和保持和API Server通訊，響應相關容器管理事件;
Kube-proxy：他負責組件之間的負載均衡和服務的網絡連通;
Docker引擎：底層運行環境，可以是docker、rtk或其他引擎;

核心概念

Pod：最小的調度分配單元，可包含一組容器和卷組成，同一個Pod的容器組共享同一個網絡命名空間;
ReplicationController/ReplicateSet: 用於控制Pod副本數量，保證Pod始終運行;
DeamonSet： 保證在所有羣集節點上運行一個Pod;
Service: 爲一組功能相同的Pods提供單一不變的接入點，解耦Pods伸縮能力;
Deployment：類似ReplicationController/ReplicateSet，增加滾動升降級策略和能力;
ConfigMap：配置選項，支持配置從Pod解耦分離;
Secret：類似ConfigMap，用於敏感數據保存;
StatefulSet：類似ReplicateSet，但StatefulSet提供Pod狀態保持，在重新調度後保留他們的標識和狀態，適合數據庫等有狀態應用場景;

特點

Kubernetes平臺有如下典型特徵：

容器的自動裝箱，即調度;
水平擴容和伸縮，控制Pod副本數達到;sorry
服務發現和負載均衡;
服務自愈和恢復能力;
應用自動發佈和回滾;
服務流量路由;
可擴展跟蹤;

安裝說明

好了，簡單瞭解完基本概念和架構後，讓我們開始動手實踐下吧！

安裝步驟

整體安裝分爲如下8大步：

配置說明

安裝工具： kubeadm （v1.18.2）
Kubernetes版本：v1.18.2 (最新穩定版本)
硬件最低要求： 2核 4G內存 20G 硬盤 (參考官方）
服務器操作系統：Ubuntu Server 18.04 LTS
Docker版本： 19.03.8 （最新穩定版本）
環境域名： k8s.abcxlab.com （Dashboard)，*.k8s.abcxlab.com (應用）

節點說明

羣集節點安排： 1個Master節點、2個Work節點，具體如下所示：

代碼說明

源代碼地址：https://gitlab.abcxlab.com/bootcamp/k8s-quick-start

源代碼目錄說明：

/app – – springboot應用和 nodejs 應用目錄，包括應用源代碼、k8s部署腳本、鏡像Dockerfile配置等

/k8s – – Kubernetes 配置腳本，包括安裝腳本和網絡、負載和Dashboard等YAML配置文件等

應用說明

搭建好Kubernetes平臺後，用於應用部署的兩類常見應用說明如下：

SpringBoot應用

應用名稱：micro
功能說明：功能很簡單，只打印輸出應用所在容器的hostname
應用代碼：https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/tree/master/app/springboot/micro
Docker鏡像地址：https://hub.docker.com/r/abcxlab/micro
鏡像構建方式：GoogleContainerTools/jib

NodeJs應用

應用名稱：kubia
功能說明：功能很簡單，只打印輸出應用所在容器的hostname
應用代碼：https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/tree/master/app/nodejs/kubia
Docker鏡像地址: https://hub.docker.com/r/abcxlab/kubia
鏡像構建方式：Docker build

安裝過程

節點配置

按照最低硬件要求配置類似如下三個物理節點服務器（虛擬機也可），一個爲Master節點，另外兩個爲Work節點。

注：本快速安裝爲非高可用安裝，支持高可用可參考文末“延伸”章節介紹

Hostname	角色	IP
XAnt	Master Node	192.168.1.4
XBox	Work Node	192.168.1.5
XBee	Work Node	192.168.1.6

安裝Ubuntu Server 18.04 LTS 操作系統，並關閉虛擬內存swap功能。

sudo swapoff -a

free -h

total used free shared buff/cache available

Mem: 15G 8.4G 321M 348M 6.9G 6.6G

Swap: 0B 0B 0B

Docker安裝

所有節點部署Docker作爲容器引擎，安裝命令如下：

curl -sfL https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/install-docker.sh | sh -

Master安裝

kubernates Master節點安裝，分爲三個步驟

1. 安裝kubeadm工具，命令如下:

curl -sfL https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/install-kubeadm.sh | sh -

2.手動下載所需鏡像（防止自動安裝時所需國外鏡像沒法下載），命令如下：

curl -sfL https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/pull-kube-image.sh | sh -

3. 使用kubeadm創建羣集，命令如下：

sudo kubeadm init --kubernetes-version=$(kubeadm version -o short) --pod-network-cidr=10.244.0.0/16

正確執行三個步驟後，如果出現如下類似提示，說明安裝成功。

...

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.

Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:

https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.1.4:6443 --token rfstgm.lxk9eik0ub409ifo \

--discovery-token-ca-cert-hash sha256:ec0d455d57d9b8348793a1ba1b937412f4264f1ee37215857c8e8e451d452fa2

按照上面提示在Master上運行配置好kubernetes-cli運行環境，命令如下：

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

同時記下Work 節點加入羣集的命令，類似如下：

kubeadm join 192.168.1.4:6443 --token rfstgm.lxk9eik0ub409ifo \

--discovery-token-ca-cert-hash sha256:ec0d455d57d9b8348793a1ba1b937412f4264f1ee37215857c8e8e451d452fa2

關於網絡配置提示，先不用擔心，後續網絡配置章節會做詳細介紹。

提示：爲了便於後續Master節點命令行中便捷輸入，建議配置Shell自動補全功能，如下所示：

#針對bash shell配置

echo "source <(kubectl completion bash)" >> ~/.bashrc

source ~/.bashrc

#針對zsh shell配置

vim ~/.zshrc

#追加如下內容

if [ $commands[kubectl] ]; then

source <(kubectl completion zsh)

source ~/.zshrc

Work安裝

Work節點的安裝第一步類似Master節點（這裏用XBox舉例）

1.先安裝kubeadm工具，命令如下:

curl -sfL https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/install-kubeadm.sh | sh -

2.再按照Master節點提示，執行如下節點Join命令

sudo kubeadm join 192.168.1.4:6443 --token rfstgm.lxk9eik0ub409ifo --discovery-token-ca-cert-hash sha256:ec0d455d57d9b8348793a1ba1b937412f4264f1ee37215857c8e8e451d452fa2

提示：如果token過期或忘記discovery-token-ca-cert-hash相應參數值，可以通過在Master節點運行如下命令獲取相應值，其中ca-cert-hash記得加”sha256:“前綴

#重新生成token

kubeadm token create

#獲取discovery-token-ca-cert-hash

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

按照以上類似步驟，安裝另外一個Work節點XBee。

等所有節點都安裝完畢後，在Master節點XAnt進行安裝驗證。

3. 檢查羣集，看節點是否加入羣集

如圖上所示即表明我們kubernetes羣集安裝成功，如果Work節點狀態暫時顯示爲NotReady也不用着急，我們繼續配置網絡即可。

提醒：安裝過程中遇到問題時，可參考文末“常見問題”章節

網絡配置

kubernetes 網絡模型核心爲三點

每個 Pod 都擁有一個獨立 IP 地址；
Pods通過扁平的網絡連通，不同節點上Pods可以無NAT地直接通訊；
Service Cluster IP 儘可在集羣內部訪問，外部請求需要通過 NodePort、LoadBalance 或者 Ingress 來訪問；

採用kubeadm工具安裝只支持CNI（Container Network Interface）網絡插件，不支持默認的kubenet。因此需要安裝相應插件（例如Flannel、Calico、Romana、Weave-net等插件，本文選擇採用Overlay網絡的Flannel插件），安裝命令如下：

備註：Flannel插件相關YAML配置來自官網： https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

#安裝網絡插件

sudo kubectl apply -f https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/1.0_kube-flannel.yaml

# 驗證是否安裝成功

sudo kubectl get ds -n kube-system

Nginx-Ingress安裝

kubernetes羣集內部服務可以通過三種方式暴露給外部訪問

NodePort方式，依賴節點的端口映射
LoadBalance方式，依賴基礎設施中負載均衡服務（例如：AWS ELB 或阿里雲ELB等），特點是多個LB實例和相應IP地址
Ingress方式，它比LB方式的優勢在於通過安裝的Ingress控制器（例如Nginx-Ingress) 基於固定IP的代理多個HTTP/HTTPS服務，有點類似於域名虛擬主機的反向代理作用。

這三種連通內網方式相關比較可參考下圖：

由於Ingress連通方式的優點，本文選擇Nginx-Ingress組件來暴露內部服務（例如：Kubernetes Dashboard 應用和演示應用都使用Ingress方式）
Nginx-Ingress安裝命令如下：

備註：nginx-ingress相關YAML配置來自官網：https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0/aio/deploy/recommended.yaml

#下載Ingress控制器配置文件

wget https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/2.0_kube-ingress-nginx-extip.yaml

#按需修改externalIP和Port (見備註）

vim 2.0_kube-ingress-nginx-extip.yaml

#安裝Ingress控制器

sudo kubectl apply -f 2.0_kube-ingress-nginx-extip.yaml

# 驗證是否安裝成功

sudo kubectl get pods -n ingress-nginx

注意：Ingress控制器對外IP和端口需要根據自己環境Work節點安排做相應配置，默認配置演示羣集中XBee和XBox兩個Work節點的IP，端口分別爲9090（HTTP)和9443（HTTPS）（如下圖所示）。兩組IP可以提高可用性，在羣集外圍可以綁定到基礎設施環境的LB上（演示環境用Nginx)，提供對外服務（例如：https://k8.abcxlab.com)或者直接提供訪問（例如：https://micro.k8s.abcxlab.com:8443/ )

Dashboard安裝

安裝好網絡插件和Ingress控制器後，就可以開開心心部署應用了。我們就來試試部署Kubernetes羣集管理儀表盤Dashboard吧。

備註：Dashboard相關YAML配置來自官網：https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0/aio/deploy/recommended.yaml

# 安裝Dashboard應用及相應授權

sudo kubectl apply -f https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/3.0_kube-dashboard.yaml

# 下載dashboard ingress配置文件

wget https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/3.1_kube-dashboard-ingress.yaml

#把k8s.abcxlab.com域名改爲自己要使用的域名：dashboard.your.domain

vim 3.1_kube-dashboard-ingress.yaml

# 爲Dashboard應用配置Ingress訪問

sudo kubectl apply -f 3.1_kube-dashboard-ingress.yaml

# 創建登錄用的ServiceAccount: admin

sudo kubectl apply -f https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/k8s/3.2_kube-dashboard-admin-user.yaml

# 驗證是否安裝成功

sudo kubectl get pods -n kubernetes-dashboard

注意：Dashboard的Ingress配置文件的域名：k8s.abcxlab.com 需要修改爲自己的域名：<dashboard.your.domain>

如果Dashboard部署成功，就可以通過https://<dashboard.your.domain>:9443 方式訪問如下登錄界面了。(注意：需要域名訪問）

應用部署

如果一切沒問題，接下來就可以用搭建的羣集進行應用部署啦！

1.部署NodeJs/kubia應用

# 部署kubia應用

sudo kubectl apply -f https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/app/nodejs/1_kubia-deployment.yaml

# 下載kubia應用ingress配置文件

wget https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/app/nodejs/2_kubia-ingress.yaml

# 把kubia.k8s.abcxlab.com域名改爲自己要使用的域名 kubia.your.domain

vim 2_kubia-ingress.yaml

# 爲kubia應用配置Ingress訪問

sudo kubectl apply -f 2_kubia-ingress.yaml

#檢查部署是否成功

sudo kubectl get ingress

curl -kL https://kubia.your.domain/

2.水平伸縮NodeJs/kubia應用

#擴容：從2副本擴容到3

sudo kubectl scale deployment kubia --replicas=3

#檢查擴容是否成功

sudo kubectl get pod

#收縮：從3副本擴容到1

sudo kubectl scale deployment kubia --replicas=1

#檢查收縮是否成功

sudo kubectl get pod

3.部署SpringBoot/micro應用

類似於NodeJs/kubia應用部署，命令如下：

#部署micro應用

sudo kubectl apply -f https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/app/springboot/1_micro-deployment.yaml

# 下載micro應用ingress配置文件

wget https://gitlab.abcxlab.com/bootcamp/k8s-quick-start/-/raw/master/app/springboot/2_micro-ingress.yaml

#把micro.k8s.abcxlab.com域名改爲自己要使用的域名 micro.your.domain

vim 2_micro-ingress.yaml

# 爲micro應用配置Ingress訪問

sudo kubectl apply -f 2_micro-ingress.yaml

#檢查部署是否成功

sudo kubectl get ingress

curl -kL https://micro.your.domain/

好了，到此整個Kubernetes羣集End-to-End部署和試用完畢，接下來簡單聊聊和產線相關話題。

延伸

高可用部署

Kubernetes羣集高可用，主要要保證Etcd高可用性和Master節點組件高可用性。

按照Etcd分佈式數據庫是內置還是外置，Kubernetes高可用部署可分爲如下兩種方式

1.Master堆疊方式，如下圖所示：

2.Etcd外部羣集方式，如下圖所示：

kubeadm工具也支持高可用羣集部署，由於篇幅有限，更多介紹可參考官方文檔：https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/high-availability/

常見問題

Minikube、kubeadm、Kubespray、Kops等Kubernetes部署工具該如何選擇？
簡單來說就是幾個工具的使用場景不一樣，Minikube 通過虛擬機方式快速安裝單節點 Kubernetes 集羣，可用於個人電腦快速體驗Kubernetes；Kubeadm 是官方推薦的Kubernetes 分發工具，該工具有助於在現有基礎架構上引導最佳 Kubernetes 集羣實踐，優點是能夠在任何地方發佈最小的可行 Kubernetes 集羣；但 Kubeadm 不提供基礎架構配置（例如：網絡、負載均衡、存儲等都需要額外配置）；Kops適合於在阿里雲、AWS、GCE、Azure、OpenStack等雲平臺上部署Kubernetes羣集，目前不支持裸機部署。Kubespray是產線部署常用工具，依賴Ansible，支持AWS，GCE，Azure，OpenStack等雲平臺，以及物理服務器的IaaS平臺。
羣集部署過程中，有哪些簡單debug方式？
a. 通過 kubectl describe 命令, 查看pod/svc/rc/ds/ingress/deployment等狀態
b. 通過 kubectl logs 命令，查看pod日誌
c. 通過 kubectl exec -it 進入pod 內部，debug功能
d. tail -f /var/log/syslog 跟蹤系統日誌
羣集部署過程中，有哪些簡單重試方式？
a. 刪除羣集：kubeadm reset
b. 刪除部署: kubectl delete -f <yaml file>
c. 重啓服務: sudo service kubelet restart

參考

Flannel 插件：https://github.com/coreos/flannel
Nginx Ingress插件：https://kubernetes.github.io/ingress-nginx/deploy/
Dashboard應用：https://github.com/kubernetes/dashboard

官方公衆號

留言點贊關注

歡迎關注“ABC實驗室”微信公衆號，我們一起分享人工智能物聯網、大數據和雲邊計算等前沿IT技術乾貨。

微信掃一掃

關注該公衆號

—— ABC實驗室，讓技術更簡單

2020版Kubernetes快速上手指南，讓你所見即所得

編者語

目標

預演

概述

架構

核心概念

特點

安裝說明

安裝步驟

配置說明

節點說明

代碼說明

應用說明

安裝過程

節點配置

Docker安裝

Master安裝

Work安裝

網絡配置

Nginx-Ingress安裝

Dashboard安裝

應用部署

延伸

高可用部署

常見問題

參考

官方公衆號

Wireshark 安裝+使用（一）

2020版Kubernetes快速上手指南，讓你所見即所得

5G來臨，我們該如何打造自己的家庭數據中心 - 基礎篇

值得程序猿收藏的這些頂級技術網站，你都知道幾個？

2020年軟件開發必看10本好書推薦

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結