如何設置一個生產級別的高可用etcd集羣

在之前的文章中，我們詳細介紹了K3s的架構以及部署場景，給尚未了解K3s的朋友提供了一個很好的入門方向。那麼，在本文中我們將探索如何配置一個3節點的etcd集羣，它將會被用於高可用、多節點的K3s集羣中。

etcd是雲原生生態中最受歡迎的開源項目之一，它是雲原生計算基金會（CNCF）孵化的項目，目前已經成爲Kubernetes基礎架構的核心構件。

在本教程結束的時候，你將完成部署一個啓用了TLS的3節點etcd集羣，作爲具有多個master的高可用K3s集羣的外部數據存儲。

首先，請確保你有3個帶有靜態IP地址的Linux host。在我的實驗環境中，我運行着4臺Intel NUC迷你電腦，這4臺電腦上運行着Ubuntu 18.04，IP地址從10.0.0.60到10.0.0.63不等。我們將在IP地址爲10.0.0.60、10.0.0.61和10.0.0.62的主機上安裝etcd。你在自己進行實踐時務必用你自己的一套地址來替換這些IP地址。

下載etcd二進制文件

在每個Linux host上，運行以下命令以下載和安裝最新版本的二進制文件：

ETCD_VER=v3.4.10
 
DOWNLOAD_URL=https://storage.googleapis.com/etcd
 
rm -f /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz
rm -rf /tmp/etcd-download-test &amp;&amp; mkdir -p /tmp/etcd-download-test
 
curl -L ${DOWNLOAD_URL}/${ETCD_VER}/etcd-${ETCD_VER}-linux-amd64.tar.gz -o /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz
 
tar xzvf /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz -C /tmp/etcd-download-test --strip-components=1
 
rm -f /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz
 
chmod +x /tmp/etcd-download-test/etcd
chmod +x /tmp/etcd-download-test/etcdctl 
 
#Verify the downloads
/tmp/etcd-download-test/etcd --version
/tmp/etcd-download-test/etcdctl version
 
#Move them to the bin folder
sudo mv /tmp/etcd-download-test/etcd /usr/local/bin
sudo mv /tmp/etcd-download-test/etcdctl /usr/local/bin

生成和分發證書

我們將使用Cloudflare的cfssl工具來生成證書和密鑰。如果你使用Mac作爲你的工作站，你可以使用Homebrew安裝它。

brew install cfssl

建立一個名爲certs的目錄，並運行以下命令爲每臺主機生成CA證書和server證書及密鑰組合。

mkdir certs &amp;&amp; cd certs

首先，創建CA證書，它將被所有的etcd server和客戶端使用。

echo '{"CN":"CA","key":{"algo":"rsa","size":2048}}' | cfssl gencert -initca - | cfssljson -bare ca -
echo '{"signing":{"default":{"expiry":"43800h","usages":["signing","key encipherment","server auth","client auth"]}}}' &gt; ca-config.json

這將生成三個文件——ca-key.pem、ca.pem和ca.csr。

接下來，我們將爲第一個節點生成證書和密鑰

export NAME=node-1
export ADDRESS=10.0.0.60,$NAME
echo '{"CN":"'$NAME'","hosts":[""],"key":{"algo":"rsa","size":2048}}' | cfssl gencert -config=ca-config.json -ca=ca.pem -ca-key=ca-key.pem -hostname="$ADDRESS" - | cfssljson -bare $NAME

對接下來的兩個節點也重複以上步驟。

export NAME=node-2
export ADDRESS=10.0.0.61,$NAME
echo '{"CN":"'$NAME'","hosts":[""],"key":{"algo":"rsa","size":2048}}' | cfssl gencert -config=ca-config.json -ca=ca.pem -ca-key=ca-key.pem -hostname="$ADDRESS" - | cfssljson -bare $NAME

export NAME=node-3
export ADDRESS=10.0.0.62,$NAME

不要忘記用自己的組合替換IP地址以及節點名稱。

此時，我們已經爲CA和所有三個節點生成了證書和密鑰。

現在是時候開始分發證書到集羣的每個節點。

運行以下命令，替換用戶名和IP地址，將證書複製到相應的節點上。

HOST=10.0.0.60
USER=ubuntu
 
scp ca.pem $USER@$HOST:etcd-ca.crt
scp node-1.pem $USER@$HOST:server.crt
scp node-1-key.pem $USER@$HOST:server.key

SSH進入每個節點，並運行以下命令將證書移動到適當的目錄中。

HOST=10.0.0.60
USER=ubuntu
 
ssh $USER@$HOST
sudo mkdir -p /etc/etcd
sudo mv * /etc/etcd
sudo chmod 600 /etc/etcd/server.key

我們完成了每個節點上證書的生成和分發。下一步，我們將爲每個節點創建配置文件和Systemd單元文件。

配置和啓動etcd集羣

在節點1上，在etc/etcd目錄中創建一個名爲etcd.conf的文件，包含以下內容：

ETCD_NAME=node-1
ETCD_LISTEN_PEER_URLS="https://10.0.0.60:2380"
ETCD_LISTEN_CLIENT_URLS="https://10.0.0.60:2379"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER="node-1=https://10.0.0.60:2380,node-2=https://10.0.0.61:2380,node-3=https://10.0.0.62:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://10.0.0.60:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://10.0.0.60:2379"
ETCD_TRUSTED_CA_FILE="/etc/etcd/etcd-ca.crt"
ETCD_CERT_FILE="/etc/etcd/server.crt"
ETCD_KEY_FILE="/etc/etcd/server.key"
ETCD_PEER_CLIENT_CERT_AUTH=true
ETCD_PEER_TRUSTED_CA_FILE="/etc/etcd/etcd-ca.crt"
ETCD_PEER_KEY_FILE="/etc/etcd/server.key"
ETCD_PEER_CERT_FILE="/etc/etcd/server.crt"
ETCD_DATA_DIR="/var/lib/etcd"

節點2的文件則使用以下內容：

ETCD_NAME=node-2
ETCD_LISTEN_PEER_URLS="https://10.0.0.61:2380"
ETCD_LISTEN_CLIENT_URLS="https://10.0.0.61:2379"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER="node-1=https://10.0.0.60:2380,node-2=https://10.0.0.61:2380,node-3=https://10.0.0.62:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://10.0.0.61:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://10.0.0.61:2379"
ETCD_TRUSTED_CA_FILE="/etc/etcd/etcd-ca.crt"
ETCD_CERT_FILE="/etc/etcd/server.crt"
ETCD_KEY_FILE="/etc/etcd/server.key"
ETCD_PEER_CLIENT_CERT_AUTH=true
ETCD_PEER_TRUSTED_CA_FILE="/etc/etcd/etcd-ca.crt"
ETCD_PEER_KEY_FILE="/etc/etcd/server.key"
ETCD_PEER_CERT_FILE="/etc/etcd/server.crt"
ETCD_DATA_DIR="/var/lib/etcd"

最後，爲節點3創建配置文件。

ETCD_NAME=node-3
ETCD_LISTEN_PEER_URLS="https://10.0.0.62:2380"
ETCD_LISTEN_CLIENT_URLS="https://10.0.0.62:2379"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER="node-1=https://10.0.0.60:2380,node-2=https://10.0.0.61:2380,node-3=https://10.0.0.62:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://10.0.0.62:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://10.0.0.62:2379"
ETCD_TRUSTED_CA_FILE="/etc/etcd/etcd-ca.crt"
ETCD_CERT_FILE="/etc/etcd/server.crt"
ETCD_KEY_FILE="/etc/etcd/server.key"
ETCD_PEER_CLIENT_CERT_AUTH=true
ETCD_PEER_TRUSTED_CA_FILE="/etc/etcd/etcd-ca.crt"
ETCD_PEER_KEY_FILE="/etc/etcd/server.key"
ETCD_PEER_CERT_FILE="/etc/etcd/server.crt"
ETCD_DATA_DIR="/var/lib/etcd"

請不要忘記更換你的網絡專用IP地址。

配置完成後，我們就可以在每個節點上創建systemd單元文件了。

在/lib/system/systemd處創建文件etcd.service，內容如下：

[Unit]
Description=etcd key-value store
Documentation=https://github.com/etcd-io/etcd
After=network.target
 
[Service]
Type=notify
EnvironmentFile=/etc/etcd/etcd.conf
ExecStart=/usr/bin/etcd
Restart=always
RestartSec=10s
LimitNOFILE=40000
 
[Install]
WantedBy=multi-user.target

由於每個節點的配置都被移到了專用文件（/etc/etcd/etcd.conf）中，所以所有節點的單元文件保持不變。

現在我們已經準備好啓動服務了。在每個節點上運行下面的命令來啓動etcd集羣：

sudo systemctl daemon-reload
sudo systemctl enable etcd
sudo systemctl start etcd

確保etcd服務已經啓動，並且運行中沒有出現錯誤。

sudo systemctl status etcd

測試和驗證集羣

SSH進入其中一個節點，通過etcd CLI連接到集羣。

etcdctl --endpoints https://10.0.0.60:2379 --cert /etc/etcd/server.crt --cacert /etc/etcd/etcd-ca.crt --key /etc/etcd/server.key put foo bar

我們在etcd數據庫中插入一個密鑰。讓我們看看能否找回它。

etcdctl --endpoints https://10.0.0.60:2379 --cert /etc/etcd/server.crt --cacert /etc/etcd/etcd-ca.crt --key /etc/etcd/server.key get foo

接下來，讓我們使用API端點（endpoint）來檢查集羣的健康狀態。

curl --cacert /etc/etcd/etcd-ca.crt --cert /etc/etcd/server.crt --key /etc/etcd/server.key https://10.0.0.60:2379/health

最後，讓我們確保所有的節點都參與到集羣中。

etcdctl --endpoints https://10.0.0.60:2379 --cert /etc/etcd/server.crt --cacert /etc/etcd/etcd-ca.crt --key /etc/etcd/server.key member list

Congratulations！現在你擁有了一個安全、分佈式的以及高可用的etcd集羣，它已經爲生產級K3s集羣環境做好了準備。

在下一篇文章中，我將向你詳細介紹如何安裝和配置一個具有高可用控制平面的4節點K3s集羣。保持關注喲~！

如何設置一個生產級別的高可用etcd集羣

下載etcd二進制文件

生成和分發證書

配置和啓動etcd集羣

測試和驗證集羣

實踐教程丨如何在邊緣基礎設施上運行故障預測解決方案？

k3d入門指南：在Docker中運行K3s

一文搞定完整的雲原生邊緣基礎設施堆棧

K3s+Jetson Nano，在邊緣端實現實時視頻分析！

15分鐘連接Jetson Nano與K8S，輕鬆搭建機器學習集羣

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結