OpenShift Master1徹底掛了，如何恢復？

小強維護着一套生成的OpenShift集羣，突然有一天集羣的master1節點出現異常，自動關機了。他嘗試了多次，都無法開機，怎麼辦？
他需要趕快恢復master1節點，來滿足集羣的高可用性。

原來的masters在ansible/hosts中的順序如下

[masters]
master1  ## 重要主節點，安裝完後單獨保存/etc/etcd/ca中的證書
master2
master3

[etcd]
master1
master2
master3

[nodes]
master1
master2
master3

恢復過程如下：

1. 新建一臺 master1節點，hostname 與 IP 都和原 master1 節點一致
2. 在master2上恢復master主節點的證書、ca.serial.txt及openshift軟件。
3. 通過新增 master 的方式將這個節點重新加回集羣
4. 通過新增 etcd 的方法，恢復了這臺 master 節點 etcd 的狀況

以下是恢復的具體步驟。

一、初始化Master節點

• 與部署機互信
• 開啓selinux
• 關閉firewalld
• DNS配置或者/etc/hosts
• HostName設置
• NTP
• ETCD盤與docker盤，如果需要提前準備的話
• Yum源設置

二、刪除問題Master節點

oc delete node master1

三、在master2節點上準備好相關證書及軟件

1. 恢復master主節點的證書
   在/etc/ansible/hosts的[masters]/[etcd]/[nodes]組中註釋掉master1節點，後執行

$ ansible-playbook playbooks/openshift-etcd/redeploy-ca.yml

2. 恢復ca.serial.txt文件
   在備份的配置中將ca.serial.txt文件拷貝到/etc/origin/master/ca.serial.txt

$ scp ca.serial.txt master2:/etc/origin/master/ca.serial.txt

3. 在master2節點安裝openshift命令

[root@master2 ~]# yum install openshift

如果顯示找不到該包，請查看/etc/yum.conf的配置，將openshift包從exclude中刪除

四、恢復Master節點

1. /etc/ansible/hosts中將需要恢復的節點從[masters]/[etcd]/[nodes]組移到[new_masters]、[new_nodes]組，並將三個組添加到[OSEv3:children]

[OSEv3:children]
masters
etcd
nodes
new_masters
new_etcd
new_nodes

[masters]
master2
master3

[etcd]
master2
master3

[nodes]
master2
master3

[new_masters]
master1

[new_etcd]
master1

[new_nodes]
master1

2. 執行master節點的scale_up.yaml

ansible-playbook playbooks/openshift-master/scaleup.yaml

3. 檢查master1的恢復狀態

$ oc get node 
$ oc get pod -n kube-system

4. 將master1節點從[new_masters]/[new_nodes]中移到[masters]/[nodes]中，並將它放到各個組的最後面。

[OSEv3:children]
masters
etcd
nodes
new_etcd

[masters]
master2
master3
master1

[etcd]
master2
master3

[nodes]
master2
master3
master1

[new_etcd]
master1

五、恢復ETCD服務

1. 在正常的master節點，如master2上移除有問題的etcd節點

$ etcdctl2 member list
23868989e8af989: name=master1 isLeader=false
45f23429e8af943: name=master2 isLeader=false
5323823fadaf989: name=master3 isLeader=true
$ etcdctl2 member remove 23868989e8af989

2. 執行etcd的擴容操作etcd scaleup.yaml

ansible-playbook playbooks/openshift-etcd/scaleup.yaml

3. 待執行完成後，檢查etcd pod狀態

$ oc get pod -n kube-system
$ etcdctl2 cluster-health

4. 將master1節點從[new_etcd]組移到[etcd]組的最後面。

[OSEv3:children]
masters
etcd
nodes
[masters]
master2
master3

[etcd]
master2
master3

[nodes]
master2
master3

5. 恢復master1節點的etcdctl命令
   將/etc/profile.d/etcdctl.sh文件拷貝到master1節點的/etc/profile.d/etcdctl.sh，並執行source /etc/profile.d/etcdctl.sh

總結

• 多Master節點的集羣具有高可用性，任一節點出現問題都不會影響到集羣的服務，但是我們必須儘快恢復它，以免再出現一臺主節點出現異常，這將會導致集羣故障。
• 多臺Master節點中，第一臺Master節點是特殊的節點，有些證書、配置文件只放在這臺節點上，但是擴容時會需要用到。（詳情可看openshift-ansible中的代碼，很多證書都是從openshift_ca_host主機複製，而openshift_ca_host={{ groups.oo_first_master.0 }}）。
• 在完成恢復後，需要及時恢復ansible/hosts中的內容，將恢復的節點加到對應組的後面，方便下次主機的擴容與維護。

參考文章

OpenShift集羣故障恢復--只剩一個master節點可用，沒有備份