Redis開發與運維之第十章集羣-搭建集羣

三個步驟:
1)準備節點。
2)節點握手。
3)分配槽。

準備節點

 Redis集羣一般由多個節點組成,節點數量至少爲6個才能保證組成完整 ,高可用的集羣。每個節點需要開啓配置cluster-enabled yes,讓Redis運行在集羣模式下。建議爲集羣內所有節點統一目錄,一般劃分三個目錄:conf、data、log,分別存放配置、數據和日誌相關文件。把6個節點配置統一放在conf目錄下,集羣相關配置如下:

#節點端口
port 6379
# 開啓集羣模式
cluster-enabled yes
# 節點超時時間,單位毫秒
cluster-node-timeout 15000
# 集羣內部配置文件
cluster-config-file "nodes-6379.conf"

其他配置和單機模式一致即可,配置文件命名規則redis-{port}.conf,準備好配置後啓動所有節點,命令如下:

redis-server conf/redis-6379.conf
redis-server conf/redis-6380.conf
redis-server conf/redis-6381.conf
redis-server conf/redis-6382.conf
redis-server conf/redis-6383.conf
redis-server conf/redis-6384.conf

 檢查節點日誌是否正確,日誌內容如下:

cat log/redis-6379.log
* No cluster configuration found, I'm cfb28ef1deee4e0fa78da86abe5d24566744411e
# Server started, Redis version 3.0.7
* The server is now ready to accept connections on port 6379

    6379節點啓動成功,第一次啓動時如果沒有集羣配置文件,它會自動創建一份,文件名稱採用cluster-config-file參數項控制,建議採用node-{port}.conf格式定義,通過使用端口號區分不同節點,防止同一機器下多個節點彼此覆蓋,造成集羣信息異常。如果啓動時存在集羣配置文件,節點會使用配置文件內容初始化集羣信息。啓動過程如圖10-6所示。

     集羣模式的Redis除了原有的配置文件之外又加了一份集羣配置文件。當集羣內節點信息發生變化,如添加節點、節點下線、故障轉移等。節點會自動保存集羣狀態到配置文件中。需要注意的是,Redis自動維護集羣配置文件,不要手動修改,防止節點重啓時產生集羣信息錯亂。 

如節點6379首次啓動後生成集羣配置如下:

#cat data/nodes-6379.conf
cfb28ef1deee4e0fa78da86abe5d24566744411e 127.0.0.1:6379 myself,master - 0 0 0 connected
vars currentEpoch 0 lastVoteEpoch 0

      文件內容記錄了集羣初始狀態,這裏最重要的是節點ID,它是一個40位16進制字符串,用於唯一標識集羣內一個節點,之後很多集羣操作都要藉助於節點ID來完成。需要注意是,節點ID不同於運行ID。節點ID在集羣初始化時只創建一次,節點重啓時會加載集羣配置文件進行重用,而Redis的運行ID每次重啓都會變化。在節點6380執行cluster nodes命令獲取集羣節點狀
態:

127.0.0.1:6380>cluster nodes
8e41673d59c9568aa9d29fb174ce733345b3e8f1 127.0.0.1:6380 myself,master - 0 0 0 connected

      每個節點目前只能識別出自己的節點信息。我們啓動6個節點,但每個節點彼此並不知道對方的存在,下面通過節點握手讓6個節點彼此建立聯繫從而組成一個集羣。

節點握手

     節點握手是指一批運行在集羣模式下的節點通過Gossip協議彼此通信,達到感知對方的過程。節點握手是集羣彼此通信的第一步,由客戶端發起命令:cluster meet{ip}{port},如圖10-7所示。

      圖中執行的命令是:cluster meet127.0.0.16380讓節點6379和6380節點進行握手通信。cluster meet命令是一個異步命令,執行之後立刻返回。內部發起與目標節點進行握手通信,如圖10-8所示。

1)節點6379本地創建6380節點信息對象,併發送meet消息。
2)節點6380接受到meet消息後,保存6379節點信息並回復pong消息。
3)之後節點6379和6380彼此定期通過ping/pong消息進行正常的節點通信。

 這裏的meet、ping、pong消息是Gossip協議通信的載體,之後的節點通信部分做進一步介紹,它的主要作用是節點彼此交換狀態數據信息。6379和6380節點通過meet命令彼此建立通信之後,集羣結構如圖10-9所示。

對節點6379和6380分別執行cluster nodes命令,可以看到它們彼此已經感知到對方的存在。

 

127.0.0.1:6379> cluster nodes
cfb28ef1deee4e0fa78da86abe5d24566744411e 127.0.0.1:6379 myself,master - 0 0
0 connected
8e41673d59c9568aa9d29fb174ce733345b3e8f1 127.0.0.1:6380 master - 0 1468073534265
1 connected
127.0.0.1:6380> cluster nodes
cfb28ef1deee4e0fa78da86abe5d24566744411e 127.0.0.1:6379 master - 0 1468073571641
0 connected
8e41673d59c9568aa9d29fb174ce733345b3e8f1 127.0.0.1:6380 myself,master - 0 0
1 connected

 下面分別執行meet命令讓其他節點加入到集羣中:

127.0.0.1:6379>cluster meet 127.0.0.1 6381
127.0.0.1:6379>cluster meet 127.0.0.1 6382
127.0.0.1:6379>cluster meet 127.0.0.1 6383
127.0.0.1:6379>cluster meet 127.0.0.1 6384

我們只需要在集羣內任意節點上執行cluster meet命令加入新節點,握手狀態會通過消息在集羣內傳播,這樣其他節點會自動發現新節點併發起握手流程。最後執行cluster nodes命令確認6個節點都彼此感知並組成集羣:

127.0.0.1:6379> cluster nodes
4fa7eac4080f0b667ffeab9b87841da49b84a6e4 127.0.0.1:6384 master - 0 1468073975551
5 connected
cfb28ef1deee4e0fa78da86abe5d24566744411e 127.0.0.1:6379 myself,master - 0 0 0 connected
be9485a6a729fc98c5151374bc30277e89a461d8 127.0.0.1:6383 master - 0 1468073978579
4 connected
40622f9e7adc8ebd77fca0de9edfe691cb8a74fb 127.0.0.1:6382 master - 0 1468073980598
3 connected
8e41673d59c9568aa9d29fb174ce733345b3e8f1 127.0.0.1:6380 master - 0 1468073974541
1 connected
40b8d09d44294d2e23c7c768efc8fcd153446746 127.0.0.1:6381 master - 0 1468073979589
2 connected

節點建立握手之後集羣還不能正常工作,這時集羣處於下線狀態,所有的數據讀寫都被禁止。通過如下命令可以看到:

127.0.0.1:6379> set hello redis
(error) CLUSTERDOWN The cluster is down

通過cluster info命令可以獲取集羣當前狀態:

127.0.0.1:6379> cluster info
cluster_state:fail
cluster_slots_assigned:0
cluster_slots_ok:0
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:0
...

從輸出內容可以看到,被分配的槽(cluster_slots_assigned)是0,由於目前所有的槽沒有分配到節點,因此集羣無法完成槽到節點的映射。只有當16384個槽全部分配給節點後,集羣才進入在線狀態。 

分配槽

Redis集羣把所有的數據映射到16384個槽中。每個key會映射爲一個固定的槽,只有當節點分配了槽,才能響應和這些槽關聯的鍵命令。通過cluster addslots命令爲節點分配槽。這裏利用bash特性批量設置槽(slots),命令如下:

redis-cli -h 127.0.0.1 -p 6379 cluster addslots {0...5461}
redis-cli -h 127.0.0.1 -p 6380 cluster addslots {5462...10922}
redis-cli -h 127.0.0.1 -p 6381 cluster addslots {10923...16383}

把16384個slot平均分配給6379、6380、6381三個節點。執行cluster info查看集羣狀態,如下所示:

127.0.0.1:6379> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:5
cluster_my_epoch:0
cluster_stats_messages_sent:4874
cluster_stats_messages_received:4726

當前集羣狀態是OK,集羣進入在線狀態。所有的槽都已經分配給節點,執行cluster nodes命令可以看到節點和槽的分配關係:

127.0.0.1:6379> cluster nodes
4fa7eac4080f0b667ffeab9b87841da49b84a6e4 127.0.0.1:6384 master - 0 1468076240123
5 connected
cfb28ef1deee4e0fa78da86abe5d24566744411e 127.0.0.1:6379 myself,master - 0 0 0 connected
0-5461
be9485a6a729fc98c5151374bc30277e89a461d8 127.0.0.1:6383 master - 0 1468076239622
4 connected
40622f9e7adc8ebd77fca0de9edfe691cb8a74fb 127.0.0.1:6382 master - 0 1468076240628
3 connected
8e41673d59c9568aa9d29fb174ce733345b3e8f1 127.0.0.1:6380 master - 0 1468076237606
1 connected
5462-10922
40b8d09d44294d2e23c7c768efc8fcd153446746 127.0.0.1:6381 master - 0 1468076238612
2 connected
10923-16383

目前還有三個節點沒有使用,作爲一個完整的集羣,每個負責處理槽的節點應該具有從節點,保證當它出現故障時可以自動進行故障轉移。集羣模式下,Reids節點角色分爲主節點和從節點。首次啓動的節點和被分配槽的節點都是主節點,從節點負責複製主節點槽信息和相關的數據。使用cluster  replicate {nodeId} 命令讓一個節點成爲從節點。其中命令執行必須在對應的
從節點上執行,nodeId是要複製主節點的節點ID,命令如下:

127.0.0.1:6382>cluster replicate cfb28ef1deee4e0fa78da86abe5d24566744411e
OK
127.0.0.1:6383>cluster replicate 8e41673d59c9568aa9d29fb174ce733345b3e8f1
OK
127.0.0.1:6384>cluster replicate 40b8d09d44294d2e23c7c768efc8fcd153446746
OK

Redis集羣模式下的主從複製使用了之前介紹的Redis複製流程,依然支持全量和部分複製。複製(replication)完成後,整個集羣的結構如圖10-11所示。

通過cluster nodes命令查看集羣狀態和複製關係,如下所示:

127.0.0.1:6379> cluster nodes
4fa7eac4080f0b667ffeab9b87841da49b84a6e4 127.0.0.1:6384 slave 40b8d09d44294d2e2
3c7c768efc8fcd153446746 0 1468076865939 5 connected
cfb28ef1deee4e0fa78da86abe5d24566744411e 127.0.0.1:6379 myself,master - 0 0 0 connected
0-5461
be9485a6a729fc98c5151374bc30277e89a461d8 127.0.0.1:6383 slave 8e41673d59c9568aa
9d29fb174ce733345b3e8f1 0 1468076868966 4 connected
40622f9e7adc8ebd77fca0de9edfe691cb8a74fb 127.0.0.1:6382 slave cfb28ef1deee4e0fa
78da86abe5d24566744411e 0 1468076869976 3 connected
8e41673d59c9568aa9d29fb174ce733345b3e8f1 127.0.0.1:6380 master - 0 1468076870987 1
connected 5462-10922
40b8d09d44294d2e23c7c768efc8fcd153446746 127.0.0.1:6381 master - 0 1468076867957 2
connected 10923-16383

      目前爲止,我們依照Redis協議手動建立一個集羣。它由6個節點構成,3個主節點負責處理槽和相關數據,3個從節點負責故障轉移。手動搭建集羣便於理解集羣建立的流程和細節,不過讀者也從中發現集羣搭建需要很多步驟,當集羣節點衆多時,必然會加大搭建集羣的複雜度和運維成本。因此Redis官方提供了redis-trib.rb工具方便我們快速搭建集羣。

 

發佈了130 篇原創文章 · 獲贊 246 · 訪問量 18萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章