etcd v3版本生產級集羣搭建以及實現一鍵啓動腳本

本專欄的上一篇文章寫了《長篇圖解etcd核心應用場景及編碼實戰》，本文繼續。後續計劃章節內容如下：

《長篇圖解etcd核心應用場景及編碼實戰》
《搭建高可用etcd集羣》
《基於etcd實現分佈式鎖（java代碼實現）》
《基於etcd實現配置變更通知（java代碼實現）》
《基於etcd實現服務註冊與發現（java代碼實現）》
《基於etcd實現分佈式系統節點leader選舉（java代碼實現）》

很多人知道etcd是因爲kubernetes，所以最常用的etcd集羣的搭建方法是通過k8s來配置啓動一個etcd集羣。但是etcd除了搭配k8s進行使用，還有很多其他的應用場景，比如：分佈式鎖、配置變更通知、分佈式系統多節點的leader選舉等。所以此文爲大家介紹的etcd集羣安裝脫離k8s，就是在linux服務器上直接安裝etcd的高可用服務集羣。

一、準備工作

以下的準備工作在三臺服務器上都要完成

1.1. 規劃主機服務器

首先需要規劃服務器，因爲etcd集羣需要選舉Leader，所以建議集羣節點的個數是3或者5。也不要太多，節點之間會有數據複製保證數據一致性，節點越多網絡及服務器性能消耗越大。需要確保服務器之間的網絡聯通性。

使用root用戶在/etc/hosts文件中追加如下的配置，使主機名稱hostname與ip之間建立映射關係。訪問peer1就是訪問對應的主機ip。

192.168.161.3       peer1
192.168.161.4       peer2
192.168.161.5       peer3

1.2. 新建etcd用戶

在CentOS的linux發行版下，執行如下命令會創建用戶及用戶組etcd，並自動創建/home/etcd目錄。如果你使用的是其他的操作系統發行版，可能需要使用useradd命令，並自行創建這個目錄。

groupadd etcd
adduser -g etcd etcd

使用root用戶新建用戶及用戶主目錄。默認的新建用戶是沒有密碼，可以使用passwd etcd命令爲其設置密碼。

1.3.開放防火牆端口

開放防火牆，使用如下3條命令開放etcd的標準端口2379、2380的端口。筆者在實際安裝的過程中，通常不使用這2個端口，因爲端口越固定，被攻擊的可能性就越大。我們隨機選擇一個不常用的端口，安全性會更好一些，這裏我還是使用標準端口了。集羣內部的各個節點通過2380端口進行通信，2379端口負責對外與客戶端通信

firewall-cmd --zone=public --add-port=2379/tcp --permanent;
firewall-cmd --zone=public --add-port=2380/tcp --permanent;
firewall-cmd --reload

使用root用戶操作防火牆。

1.4.創建必要的目錄

使用su - etcd從root用戶切換到etcd用戶，在etcd用戶的主目錄/home/etcd下面新建如下的目錄, 用於etcd數據存儲

mkdir -p /home/etcd/data;

1.5.下載etcd並解壓

etcd用戶下載etcd安裝包，從github上下載比較慢，我選擇的是國內華爲雲提供的加速鏡像。如果你不想使用我的版本，你也可以搜索“etcd國內下載加速”選擇自己需要的版本。wget命令下載，tar命令進行解壓，這個不必多說。

wget https://mirrors.huaweicloud.com/etcd/v3.5.4/etcd-v3.5.4-linux-amd64.tar.gz;
tar -xzvf /home/etcd/etcd-v3.5.4-linux-amd64.tar.gz;

1.6. 集羣主機免密登陸

後續我們在進行etcd運維，比如說啓動集羣的時候不希望一臺服務器一臺服務器的執行命令，而是希望在一臺服務器上完成操作，這就需要集羣etcd用戶之間能夠免密登陸對方。這裏我就簡單介紹了，講解該如何實現，原理大家搜文章學習下。etcd權限用戶根目錄下執行如下命令，不論提示輸入什麼，一路回車即可。

ssh-keygen -t rsa

將公鑰保存到authorized_keys文件中

cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

將公鑰分發給peer2、peer3主機。按提示輸入etcd的登陸密碼

ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 etcd@peer2;

需要分開執行，因爲執行命令的過程中需要輸入密碼。

ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 etcd@peer3;

這樣，我們peer1免密登錄peer2、peer3的配置工作就完成了。同樣的操作，在peer2、peer3服務器上執行，將自己的公鑰發給另外2臺服務器，主機名稱替換一下。這樣設置完成之後，我們在這三臺服務器中的任意一臺服務器上etcd用戶下執行如ssh etcd@peer3就可以登陸peer3，不需要輸入密碼，證明我們的操作成功了。

二、集羣啓動與驗證

2.1. 一鍵啓動腳本實現

完成上面的準備工作，實際上我們的etcd集羣安裝就已經完成了，實際的安裝動作就是解壓，解壓目錄下的etcd、etcdctl、etcdutl都是可執行文件，可以直接使用。

下面我們使用這個腳本來啓動etcd集羣（只需要在規劃好的3臺服務器上任意一臺執行一次該腳本即可）。我們給這個腳本起個名字start-etcds.sh,並給它賦予可執行權限。

#!/bin/bash

## ------------config-----------------
export ETCDCTL_API=3
CLUSTER_TOKEN=etcdcluster01
DATADIR=/home/etcd/data
HOSTNAME1=peer1
HOSTNAME2=peer2
HOSTNAME3=peer3
HOSTIP1=192.168.161.3
HOSTIP2=192.168.161.4
HOSTIP3=192.168.161.5
CLUSTER=${HOSTNAME1}=http://${HOSTIP1}:2380,${HOSTNAME2}=http://${HOSTIP2}:2380,${HOSTNAME3}=http://${HOSTIP3}:2380
CLUSTER_IPS=(${HOSTIP1}  ${HOSTIP2}  ${HOSTIP3})
CLUSTER_NAMES=(${HOSTNAME1}  ${HOSTNAME2}  ${HOSTNAME3})

## ---------------start etcd node------------------
for i in $(seq 0 `expr ${#CLUSTER_IPS[@]} - 1`); do
    nodeip=${CLUSTER_IPS[i]}
    nodename=${CLUSTER_NAMES[i]}

    ssh -T $nodeip <<EOF
    nohup /home/etcd/etcd-v3.5.4-linux-amd64/etcd  \
        --name ${nodename} \
        --data-dir  ${DATADIR}  \
        --initial-advertise-peer-urls http://${nodeip}:2380 \
        --listen-peer-urls http://${nodeip}:2380 \
        --advertise-client-urls http://${nodeip}:2379 \
        --listen-client-urls http://${nodeip}:2379 \
        --initial-cluster ${CLUSTER} \
        --initial-cluster-state new \
        --initial-cluster-token ${CLUSTER_TOKEN} >> ${DATADIR}/etcd.log 2>&1  &
EOF
echo 從節點 $nodename 啓動etcd節點...[ done ]

sleep 5
done

這個腳本分成兩個部分，第一個部分config是我們自定義的shell腳本變量

export ETCDCTL_API=3表示使用版本號爲3的etcdctl API。
CLUSTER_TOKEN一個etcd集羣有一個唯一的token，隨意設置保證唯一性即可。
DATADIR表示etcd的數據磁盤存儲路徑
HOSTNAME1、2、3表示我們事先規劃好的3臺服務器的主機名稱，即：linux主機hostname命令的執行結果。
HOSTIP1、2、3表示我們事先規劃好的3臺服務器的IP地址。（如果有多塊網卡，請選擇對外提供服務的網卡ip）
CLUSTER是etcd集羣配置的標準格式
CLUSTER_IPS、CLUSTER_NAMES分別是集羣服務器各節點的ip和主機名稱數組

第二個部分是etcd集羣的啓動腳本，因爲我們已經配置了etcd用戶的主機之間免密登陸，所以可以通過一個腳本啓動3臺服務器上的etcd服務。

for i in $(seq 0 expr ${#CLUSTER_IPS[@]} - 1); do 表示for循環，循環CLUSTER_IPS數組的長度賦值給i，所以i隨着for循環依次等於1、2、3。
nodeip、nodename等於CLUSTER_IPS、CLUSTER_NAMES數組中下標爲i的元素，即：主機的ip、主機的名稱。
for循環遍歷3臺服務器，依次使用ssh -T $nodeip登陸3臺服務器，因爲上文已經做過免密登陸，所以無需密碼。
EOF作爲段落分割，其中間包裹的命令就是etcd實例的啓動命令。

etcd的啓動命令如下：

/home/etcd/etcd-v3.5.4-linux-amd64/etcd :啓動etcd命令
--name: etcd節點名稱，保證唯一性，我們使用etcd所部署的主機名稱即可。
--data-dir: etcd數據存儲位置
--initial-advertise-peer-urls ，
--listen-peer-urls 指定當前節點與集羣內其他節點通信的url。如果該節點存在網絡代理，--initial-advertise-peer-urls 設置爲代理的地址：2379。
--advertise-client-urls ,
--listen-client-urls指定客戶端與當前節點通信的url。如果該節點存在網絡代理， --advertise-client-urls 設置爲代理的地址：2380。
--initial-cluster集羣各節點的通信地址列表
--initial-cluster-state新建的級羣使用new，一個節點加入已經存在的集羣用existing
--initial-cluster-token集羣的token唯一標識。

2.2.驗證集羣

使用etcdctl member list查看當前的etcd集羣包含多少個節點以及節點的狀態

/home/etcd/etcd-v3.5.4-linux-amd64/etcdctl \
--endpoints=192.168.161.3:2379,192.168.161.4:2379,192.168.161.5:2379 \
member list

上面的命令結果中能看到狀態是started證明我們的集羣處於正常運行狀態。如果想查詢集羣內那個節點是Leader節點，我更經常使用的命令是下面的這個

/home/etcd/etcd-v3.5.4-linux-amd64/etcdctl \
--endpoints=192.168.161.3:2379,192.168.161.4:2379,192.168.161.5:2379 \
endpoint status -w table

顯示結果如下。可以看到“IS LEADER=true”的節點是集羣的Leader節點：

碼文不易，如果您覺得有幫助，請幫忙點擊在看或者分享，沒有您的支持我可能無法堅持下去！
歡迎關注我的公告號：字母哥雜談，回覆003贈送作者專欄《docker修煉之道》的PDF版本，30餘篇精品docker文章。字母哥博客：zimug.com

etcd v3版本生產級集羣搭建以及實現一鍵啓動腳本

一、準備工作

1.1. 規劃主機服務器

1.2. 新建etcd用戶

1.3.開放防火牆端口

1.4.創建必要的目錄

1.5.下載etcd並解壓

1.6. 集羣主機免密登陸

二、集羣啓動與驗證

2.1. 一鍵啓動腳本實現

2.2.驗證集羣

致遠OA及相關OA系統集成與二次開發

EXCEL公式使用總結

System.Object未被引用的程序集中定義

Java 信號量（semaphore）搭配CountDownLatch 實現多線程處理循環內邏輯並限制創建線程數

[轉帖]linux命令top內存顯示M兆或者G

【面試準備】項目經驗——接口自動化項目

數據源太多，報表工具該如何兼容？

如何集成開源圖表及報表到自研項目中

使用開源計算引擎提升Excel格式文件處理效率

數據批處理速度慢？不妨試試這個

etcd v3版本生產級集羣搭建以及實現一鍵啓動腳本

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結