概述
etcd 是一個基於 Raft 協議實現。開源的、分佈式的鍵值存儲系統。主要用於在分佈式系統中提供強一致性和高可用性的數據存儲。
etcd 在 Kubernetes 中的作用如下:
- 集羣狀態數據存儲:集羣配置,集羣狀態信息等
- 保證集羣一致性和高可用:多實例的數據同步
- 服務發現和配置共享
- 集羣數據備份和恢復
作爲 Kubernetes 的核心組件,etcd 爲集羣的穩定性、可靠性和一致性提供了支撐。
安裝
命令行啓動
安裝參考官方文檔 etcd install 指引即可,安裝後驗證:
$ etcd --version
輸出:
etcd Version: 3.5.10
Git SHA: 0223ca52b
Go Version: go1.21.3
Go OS/Arch: darwin/arm64
phoenix@xiaobindeMacBook-Pro ~ % etcd
在終端啓動 etcd:
$ etcd
輸出:
{"level":"warn","ts":"2023-11-23T06:59:49.265098+0800","caller":"embed/config.go:676","msg":"Running http and grpc server on single port. This is not recommended for production."}
{"level":"info","ts":"2023-11-23T06:59:49.265318+0800","caller":"etcdmain/etcd.go:73","msg":"Running: ","args":["etcd"]}
{"level":"info","ts":"2023-11-23T06:59:49.265352+0800","caller":"etcdmain/etcd.go:100","msg":"failed to detect default host","error":"default host not supported on darwin_arm64"}
{"level":"warn","ts":"2023-11-23T06:59:49.265361+0800","caller":"etcdmain/etcd.go:105","msg":"'data-dir' was empty; using default","data-dir":"default.etcd"}
#.....
容器啓動
在容器中啓動 etcd 實例:
$ docker run -d registry.aliyuncs.com/google_containers/etcd:3.5.0-0 /usr/local/bin/etcd
進入 etcd 容器:
docker ps|grep etcd
docker exec –it <containerid> sh
使用
etcd
的使用較爲簡單,主要通過 etcdctl
來執行日常操作
查看集羣
查看 etcd 集羣中的所有成員:
$ etcdctl member list --write-out=table
輸出:
+------------------+---------+---------+-----------------------+-----------------------+------------+
| ID | STATUS | NAME | PEER ADDRS | CLIENT ADDRS | IS LEARNER |
+------------------+---------+---------+-----------------------+-----------------------+------------+
| 8e9e05c52164694d | started | default | http://localhost:2380 | http://localhost:2379 | false |
+------------------+---------+---------+-----------------------+-----------------------+------------+
存儲鍵值對
通過 put
命令用於將指定的值存儲在指定的鍵下。使用方法如下:
$ etcdctl put [key] [value]
例如,要存儲鍵爲 mykey
和值爲 myvalue
的鍵值對,你可以運行:
$ etcdctl put mykey myvalue
輸出:
OK
這會在 etcd
中創建或更新鍵 mykey
的值爲 myvalue
。
獲取鍵值對
get
命令用於檢索存儲在指定鍵下的值。使用方法如下:
$ etcdctl get [key]
繼續上面的例子,要獲取 mykey
的值,你可以運行:
$ etcdctl get mykey
輸出:
mykey
myvalue
觀察鍵值變化
通過 watch
命令可以觀察鍵的變化。當指定的鍵發生變化(例如更新或刪除)時,會輸出通知。使用方法如下:
$ etcdctl watch [key]
例如,要觀察 mykey
的變化,你可以運行:
$ etcdctl watch mykey
然後,在另一個終端更新 mykey
操作:
$ etcdctl put mykey newValue
$ etcdctl put mykey newValue2
$ etcdctl put mykey newValue3
然後執行 watch
命令的終端輸出:
PUT
mykey
newValue
PUT
mykey
newValue2
PUT
mykey
newValue3
租約機制
租約(Lease)是一種允許將鍵值對與一個有時間限制的租約關聯的機制。租約到期後,與其關聯的鍵值對會自動刪除。
這個特性主要用於:保存臨時配置,實現分佈式鎖,心跳機制,集羣成員管理等場景。
創建租約
使用 lease grant
命令可以創建一個租約:
$ etcdctl lease grant 60
輸出:
lease 694d8c03cd2f520c granted with TTL(60s)
這個命令會創建一個持續 60 秒的租約,並且返回一個租約 ID,用於後續的操作。
列出所有租約
使用 lease list
可以查看所有活躍的租約:
$ etcdctl lease list
輸出:
found 1 leases
694d8c03cd2f520c
這裏列出當前所有活躍的租約
將鍵綁定到租約
使用 --lease=<LEASE_ID>
選項參數可以把鍵綁定在租約上:
$ etcdctl put mykey myvalue --lease=694d8c03cd2f520c
輸出:
OK
這個鍵將在租約到期時自動刪除。
保持活躍
使用 lease keep-alive
可以對租約進行續租:
$ etcdctl lease keep-alive 694d8c03cd2f520c
輸出:
lease 694d8c03cd2f5214 keepalived with TTL(60)
lease 694d8c03cd2f5214 keepalived with TTL(60)
lease 694d8c03cd2f5214 keepalived with TTL(60)
# ....
這條命令將保持租約活躍,防止其到期。
撤銷租約
使用 lease revoke
可以提前結束租約:
$ etcdctl lease revoke 694d8c03cd2f520c
輸出:
lease 694d8c03cd2f520c revoked
這將撤銷租約並刪除所有與之相關聯的鍵。
備份和恢復
在 etcd 中,snapshot
功能是一種重要的數據保護和恢復機制。它允許你保存 etcd
數據庫的當前狀態,並在需要時從這些快照中恢復數據。
創建快照
使用 etcdctl snapshot save
命令可以創建當前的數據快照:
$ etcdctl snapshot save snapshot.db
輸出:
{"level":"info","ts":"2023-11-25T11:05:38.646873+0800","caller":"snapshot/v3_snapshot.go:65","msg":"created temporary db file","path":"snapshot.db.part"}
{"level":"info","ts":"2023-11-25T11:05:38.652861+0800","logger":"client","caller":"[email protected]/maintenance.go:212","msg":"opened snapshot stream; downloading"}
{"level":"info","ts":"2023-11-25T11:05:38.653092+0800","caller":"snapshot/v3_snapshot.go:73","msg":"fetching snapshot","endpoint":"127.0.0.1:2379"}
{"level":"info","ts":"2023-11-25T11:05:38.657127+0800","logger":"client","caller":"[email protected]/maintenance.go:220","msg":"completed snapshot read; closing"}
{"level":"info","ts":"2023-11-25T11:05:38.660291+0800","caller":"snapshot/v3_snapshot.go:88","msg":"fetched snapshot","endpoint":"127.0.0.1:2379","size":"98 kB","took":"now"}
{"level":"info","ts":"2023-11-25T11:05:38.660394+0800","caller":"snapshot/v3_snapshot.go:97","msg":"saved","path":"snapshot.db"}
這會將當前 etcd 數據庫的狀態保存到名爲 snapshot.db
的文件中。
恢復數據
使用 etcdctl snapshot restore
命令可以從快照文件中恢復數據:
$ etcdctl snapshot restore snapshot.db
輸出:
2023-11-25T11:06:10+08:00 info snapshot/v3_snapshot.go:260 restoring snapshot {"path": "snapshot.db", "wal-dir": "default.etcd/member/wal", "data-dir": "default.etcd", "snap-dir": "default.etcd/member/snap"}
2023-11-25T11:06:10+08:00 info membership/store.go:141 Trimming membership information from the backend...
2023-11-25T11:06:10+08:00 info membership/cluster.go:421 added member {"cluster-id": "cdf818194e3a8c32", "local-member-id": "0", "added-peer-id": "8e9e05c52164694d", "added-peer-peer-urls": ["http://localhost:2380"]}
2023-11-25T11:06:10+08:00 info snapshot/v3_snapshot.go:287 restored snapshot {"path": "snapshot.db", "wal-dir": "default.etcd/member/wal", "data-dir": "default.etcd", "snap-dir": "default.etcd/member/snap"}
這會從 snapshot.db
中恢復數據,並且配置新的 etcd 實例。
在 K8S 中創建 etcd
安裝 Helm
首先,安裝 Helm 包管理工具,它主要用於簡化 Kubernetes 應用程序的部署和管理。
添加 bitnami 倉庫
然後將 Bitnami 倉庫添加到你的 Helm 包中:
$ helm repo add bitnami https://charts.bitnami.com/bitnami
Bitnami 提供了許多預打包的 K8S 應用和服務,添加它你可以方便的搜索、配置和安裝各種安全可靠的應用。
下載 chart
從 Bitnami 倉庫下載解壓編輯 etcd
的 Helm chart:
$ helm pull bitnami/etcd
$ tar -xvf etcd-6.8.4.tgz
$ vi etcd/values.yaml
在本地環境爲了避免產生不必要的數據文件,將數據持久化設置爲 false:
persistence:
## @param persistence.enabled If true, use a Persistent Volume Claim. If false, use emptyDir.
enabled: false
這意味着 etcd 數據不會被持久化存儲,當 Pod 重啓時數據會丟失。
安裝 chart
將 chart 部署到 Kubernetes 集羣中:
$ helm install my-release ./etcd
執行這個命令,Helm 會根據位於 /etcd
目錄中的 values.yaml
文件和其他 chart 文件,創建一組 Kubernetes 資源來部署 etcd 應用。
啓動 etcd 客戶端
啓動 etcd 客戶端:
$ kubectl run my-release-etcd-client --restart='Never' --image docker.io/bitnami/etcd:3.5.0-debian-10-r94 --env ROOT_PASSWORD=$(kubectl get secret --namespace default my-release-etcd -o jsonpath="{.data.etcd-root-password}" | base64 --decode) --env ETCDCTL_ENDPOINTS="my-release-etcd.default.svc.cluster.local:2379" --namespace default --command -- sleep infinity
此命令創建一個 etcd 客戶端 Pod,用於和 etcd 服務進行交互。
驗證
首先查看 Pod:
$ kubectl get pod
輸出:
NAME READY STATUS RESTARTS AGE
my-release-etcd-0 1/1 Running 0 7m28s
my-release-etcd-client 1/1 Running 0 74s
進入容器:
$ kubectl exec --namespace default -it my-release-etcd-client -- bash
存儲鍵:
$ etcdctl --user root:$ROOT_PASSWORD put /message Hello
獲取鍵:
$ etcdctl --user root:$ROOT_PASSWORD get /message
輸出:
/message
Hello
到這裏在 K8S 中創建 etcd,從設置環境、安裝 etcd,到通過客戶端驗證的基本使用到這裏就完成了。