Kubernetes 1.20.6高可用集羣快速升級及擴容

Kubernetes 1.20.6已經正式發佈,高可用集羣也可以直接升級(hub.docker.com已經停更,使用registry.cn-hangzhou.aliyuncs.com/google_containers)。快速升級(含國內鏡像快速下載鏈接)包括升級kubeadm/kubectl/kubelet版本、拉取鏡像、升級Kubernetes集羣三個主要步驟。參考《Ubuntu上軟件鎖定版本不更新》安裝特定DockerCE版本。

遇到問題可以參考:

提前將鏡像傳送到相應節點上,然後在任何一個master節點運行下面的命令即可完成升級。

kubeadm upgrade apply v1.20.6

在當前的集羣中新增節點:

  • 第一步,重新創建certificate key和token:
sudo kubeadm init phase upload-certs --upload-certs

### Got:
# [upload-certs] Using certificate key:
# 2ffe5bbf7d2e670d5bcfb03dac194e2f21eb9715f2099c5f8574e4ba7679ff78

# Add certificate-key for Multi Master Node.
kubeadm token create --print-join-command --certificate-key 2ffe5bbf7d2e670d5bcfb03dac194e2f21eb9715f2099c5f8574e4ba7679ff78
  • 第二步,增加Worker節點:
kubeadm join 192.168.199.173:6443 --token rlxvkn.2ine1loolri50tzt 
    --discovery-token-ca-cert-hash sha256:86e68de8febb844ab8f015f6af4526d78a980d9cdcf7863eebb05b17c24b9383
  • 第三步,增加master節點:
kubeadm join 192.168.199.173:6443 --token rlxvkn.2ine1loolri50tzt 
    --discovery-token-ca-cert-hash sha256:86e68de8febb844ab8f015f6af4526d78a980d9cdcf7863eebb05b17c24b9383 
    --control-plane --certificate-key 440a880086e7e9cbbcebbd7924e6a9562d77ee8de7e0ec63511436f2467f7dde

在arm上部署kubernetes參考:

升級時出現一些小錯誤,後來解決了:

1、升級kubeadm/kubectl/kubelet版本

sudo apt install kubeadm=1.20.6-00 kubectl=1.20.6-00 kubelet=1.20.6-00

查看該版本的容器鏡像版本:

kubeadm config images list

輸出如下:

~# kubeadm config images list

k8s.gcr.io/kube-apiserver:v1.20.6
k8s.gcr.io/kube-controller-manager:v1.20.6
k8s.gcr.io/kube-scheduler:v1.20.6
k8s.gcr.io/kube-proxy:v1.20.6
k8s.gcr.io/pause:3.2
k8s.gcr.io/etcd:3.4.13-0
k8s.gcr.io/coredns:1.7.0

2、拉取容器鏡像

原始的kubernetes鏡像文件在gcr上,不能直接下載。我原來是把鏡像到了阿里雲的杭州機房的容器倉庫裏,拉取還是比較快的。現在hub.docker.com的訪問沒有問題了,有同學把鏡像放到料裏面,而且更新還挺及時,可以直接用。

#mirrorgcrio已經沒有更新了...
#MY_REGISTRY=mirrorgcrio
MY_REGISTRY=registry.cn-hangzhou.aliyuncs.com/google_containers
K8S_VERSION="1.20.6"

echo ""
echo "=========================================================="
echo "Pull Kubernetes for x64 v$K8S_VERSION Images from docker.io ......"
echo "=========================================================="
echo ""


## 拉取鏡像
docker pull ${MY_REGISTRY}/kube-apiserver:v$K8S_VERSION
docker pull ${MY_REGISTRY}/kube-controller-manager:v$K8S_VERSION
docker pull ${MY_REGISTRY}/kube-scheduler:v$K8S_VERSION
docker pull ${MY_REGISTRY}/kube-proxy:v$K8S_VERSION
docker pull ${MY_REGISTRY}/etcd:3.4.13-0
docker pull ${MY_REGISTRY}/pause:3.2

#docker pull ${MY_REGISTRY}/coredns-arm64:1.7.0
docker pull coredns/coredns:1.7.0

## 添加Tag
docker tag ${MY_REGISTRY}/kube-apiserver:v$K8S_VERSION k8s.gcr.io/kube-apiserver:v$K8S_VERSION
docker tag ${MY_REGISTRY}/kube-scheduler:v$K8S_VERSION k8s.gcr.io/kube-scheduler:v$K8S_VERSION
docker tag ${MY_REGISTRY}/kube-controller-manager:v$K8S_VERSION k8s.gcr.io/kube-controller-manager:v$K8S_VERSION
docker tag ${MY_REGISTRY}/kube-proxy:v$K8S_VERSION k8s.gcr.io/kube-proxy:v$K8S_VERSION
docker tag ${MY_REGISTRY}/etcd:3.4.13-0 k8s.gcr.io/etcd:3.4.13-0
docker tag ${MY_REGISTRY}/pause:3.2 k8s.gcr.io/pause:3.2

#docker tag ${MY_REGISTRY}/coredns-arm64:1.7.0 k8s.gcr.io/coredns:1.7.0
docker tag coredns/coredns:1.7.0 k8s.gcr.io/coredns:1.7.0

echo ""
echo "=========================================================="
echo "Pull Kubernetes for x64 v$K8S_VERSION Images FINISHED."
echo "into docker.io/mirrorgcrio, "
echo " by [email protected]://my.oschina.net/u/2306127."
echo "=========================================================="

echo ""

保存爲shell腳本,然後執行。

3、升級Kubernetes集羣

全新安裝:

#指定IP地址,1.20.6版本:
sudo kubeadm init --kubernetes-version=v1.20.6 --apiserver-advertise-address=10.1.1.199 --pod-network-cidr=10.244.0.0/16

高可用安裝(多master節點):

sudo kubeadm init --kubernetes-version=v1.20.6 \
--apiserver-advertise-address=192.168.199.173 \
--control-plane-endpoint=192.168.199.173:6443 \
--pod-network-cidr=10.244.0.0/16 \
--upload-certs

先查看一下需要升級的各個組件的版本。

使用kubeadm upgrade plan ,輸出的版本升級信息如下:

Components that must be upgraded manually after you have upgraded the control plane with 'kubeadm upgrade apply':
COMPONENT   CURRENT       AVAILABLE
Kubelet     1 x v1.20.4   v1.20.6
            8 x v1.20.4   v1.20.6

Upgrade to the latest version in the v1.20 series:

COMPONENT            CURRENT   AVAILABLE
API Server           v1.20.4   v1.20.6
Controller Manager   v1.20.4   v1.20.6
Scheduler            v1.20.4   v1.20.6
Kube Proxy           v1.20.4   v1.20.6
CoreDNS              1.7.0     1.7.0
Etcd                 3.4.13-0     3.4.13-0

You can now apply the upgrade by executing the following command:

    kubeadm upgrade apply v1.20.6

確保上面的容器鏡像已經下載(如果沒有提前下載,可能被網絡阻隔導致掛起),然後執行升級:

kubeadm upgrade apply v1.20.6

看到下面信息,就OK了。

[upgrade/successful] SUCCESS! Your cluster was upgraded to "v1.20.6". Enjoy!

然後,配置當前用戶環境:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

就可以使用 kubectl version 來查看狀態和 kubectl cluster-info 查看服務地址。

  • 如果服務沒有起來,測試一下: 
    • 查看服務版本,kubectl version
    • 查看集羣信息,kubectl cluster-info
    • 查看服務狀態,sudo systemctl status kubelet
    • 查看服務日誌,journalctl -xefu kubelet

4、工作節點的升級

每個工作節點需要拉取上面對應版本的鏡像,以及安裝kubelet的對應版本。

檢查版本:

~$ kubectl version

查看Pod信息:

kubectl get pod --all-namespaces

完成。

⚠️注意:1.17後版本,如果使用kubeadm安裝爲高可用模式,所有master節點都可以被升爲最新版本(需要提前把k8s的容器鏡像放到節點上去)。

更多參考:

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章