Redis(開發與運維):47---集羣之（搭建集羣：準備節點、節點握手、分配槽）

一、準備節點

• Redis集羣一般由多個節點組成，節點數量至少爲6個才能保證組成完整高可用的集羣。每個節點需要開啓配置cluster-enabled yes，讓Redis運行在集羣模式下

①配置相關目錄文件

• 建議爲集羣內所有節點統一目錄，一般劃分三個目錄：conf、 data、log，分別存放配置、數據和日誌相關文件。下面我們在自己redis的安裝目錄/opt/redis/下建立者三個目錄

sudo mkdir /opt/redis/conf
sudo mkdir /opt/redis/data
sudo mkdir /opt/redis/log

• 把6個節點配置統一放在conf目錄下，配置文件命名規則爲redis-{port}.conf。集羣相關配置如下：

#節點端口
port 6379

# 守護進程模式啓動(可選)
daemonize yes

# 開啓集羣模式
cluster-enabled yes

# 節點超時時間，單位毫秒
cluster-node-timeout 15000

# 集羣內部配置文件
cluster-config-file /opt/redis/conf/nodes-6379.conf

# 其餘的配置與redis.conf默認配置文件一致即可

②啓動節點

• 準備好配置後啓動所有節點，命令如下

sudo redis-server /opt/redis/conf/redis-6379.conf
sudo redis-server /opt/redis/conf/redis-6380.conf
sudo redis-server /opt/redis/conf/redis-6381.conf
sudo redis-server /opt/redis/conf/redis-6382.conf
sudo redis-server /opt/redis/conf/redis-6383.conf
sudo redis-server /opt/redis/conf/redis-6384.conf

• 檢查節點日誌是否正確：

sudo cat /opt/redis/log/redis-6379.conf

③查看集羣配置文件

• 集羣模式的Redis除了原有的配置文件之外又加了一份集羣配置文件。 當集羣內節點信息發生變化，如添加節點、節點下線、故障轉移等。節點會自動保存集羣狀態到配置文件中。需要注意的是，Redis自動維護集羣配置文件，不要手動修改，防止節點重啓時產生集羣信息錯亂
• 6379節點啓動成功，第一次啓動時如果沒有集羣配置文件，它會自動創建一份，文件名稱採用cluster-config-file參數項控制，建議採用node- {port}.conf格式定義，通過使用端口號區分不同節點，防止同一機器下多個 節點彼此覆蓋，造成集羣信息異常
• 如果啓動時存在集羣配置文件，節點會使用配置文件內容初始化集羣信息。啓動過程如下圖所示：

• 如節點6379首次啓動後生成集羣配置如下，因爲：

sudo cat /opt/redis/conf/nodes-6379.conf

• 文件內容記錄了集羣初始狀態，這裏最重要的是節點ID，它是一個40位16進制字符串，用於唯一標識集羣內一個節點，之後很多集羣操作都要藉助於節點ID來完成。需要注意是，節點ID不同於運行ID：節點ID在集羣初始化 時只創建一次，節點重啓時會加載集羣配置文件進行重用，而Redis的運行 ID每次重啓都會變化
• 在節點6380執行cluster nodes命令獲取集羣節點狀態，每個節點目前只能識別出自己的節點信息：

cluster nodes

• 我們啓動6個節點，但每個節點彼此並不知道對方的存在，下面通過節點握手讓6個節點彼此建立聯繫從而組成一個集羣

二、節點握手

• 節點握手是指一批運行在集羣模式下的節點通過Gossip協議彼此通信， 達到感知對方的過程
• 節點握手是集羣彼此通信的第一步，由客戶端發起下面的命令，如下圖所示：

cluster meet {ip} {port}

• 上面執行命令之後讓節點6379和6380節點進行握手通信。cluster meet命令是一個異步命令，執行之後立刻返回。內部發起與目標節點進行握手通信，如下圖所示：
  • 1）節點6379本地創建6380節點信息對象，併發送meet消息
  • 2）節點6380接受到meet消息後，保存6379節點信息並回復pong消息
  • 3）之後節點6379和6380彼此定期通過ping/pong消息進行正常的節點通信

• 這裏的meet、ping、pong消息是Gossip協議通信的載體，之後的節點通信部分做進一步介紹，它的主要作用是節點彼此交換狀態數據信息。6379和6380節點通過meet命令彼此建立通信之後，集羣結構如下圖所示：

• 對節點6379和6380分別執行cluster nodes命令，可以看到它們彼此已經感知到對方的存在

cluster nodes

• 下面分別執行meet命令讓其他節點加入到集羣中，我們只需要在集羣內任意節點上執行cluster meet命令加入新節點，握手狀態會通過消息在集羣內傳播，這樣其他節點會自動發現新節點併發起握手流程：

• 最後執行cluster nodes命令確認6個節點都彼此感知並組成集羣：

• 節點建立握手之後集羣還不能正常工作，這時集羣處於下線狀態，所有的數據讀寫都被禁止。通過如下命令可以看到：

• 通過cluster info命令可以獲取集羣當前狀態：

• 從輸出內容可以看到，被分配的槽（cluster_slots_assigned）是0，由於目前所有的槽沒有分配到節點，因此集羣無法完成槽到節點的映射。只有當16384個槽全部分配給節點後，集羣才進入在線狀態

三、分配槽

• Redis集羣把所有的數據映射到16384個槽中。每個key會映射爲一個固定的槽，只有當節點分配了槽，才能響應和這些槽關聯的鍵命令。通過cluster addslots命令爲節點分配槽。這裏利用bash特性批量設置槽（slots）， 命令如下：

redis-cli -h 127.0.0.1 -p 6379 cluster addslots {0..5461}
redis-cli -h 127.0.0.1 -p 6380 cluster addslots {5462..10922}
redis-cli -h 127.0.0.1 -p 6381 cluster addslots {10923..16383}

• 把16384個slot平均分配給6379、6380、6381三個節點。執行cluster info查看集羣狀態，如下所示：

• 當前集羣狀態是OK，集羣進入在線狀態。所有的槽都已經分配給節點，執行cluster nodes命令可以看到節點和槽的分配關係：

• 目前還有三個節點沒有使用，作爲一個完整的集羣，每個負責處理槽的節點應該具有從節點，保證當它出現故障時可以自動進行故障轉移。集羣模式下，Reids節點角色分爲主節點和從節點。首次啓動的節點和被分配槽的節點都是主節點，從節點負責複製主節點槽信息和相關的數據。使用cluster replicate {nodeId}命令讓一個節點成爲從節點。其中命令執行必須在對應的從節點上執行，nodeId是要複製主節點的節點ID，命令如下：

cluster replicate 14609d8bacad6ca63d4390f7690097342b84ad17
cluster replicate e2c1185c0709bf0130a6222fc5aa72ac36e2a088
cluster replicate 9cf39095cced0af5a0d4615ee957deaf8b2eec53

• Redis集羣模式下的主從複製使用了之前介紹的Redis複製流程，依然支持全量和部分複製。複製（replication）完成後，整個集羣的結構如下圖所示

• 通過cluster nodes命令查看集羣狀態和複製關係，如下所示：

• 目前爲止，我們依照Redis協議手動建立一個集羣。它由6個節點構成， 3個主節點負責處理槽和相關數據，3個從節點負責故障轉移

四、使用redis-cli --cluster搭建集羣

• 上面“一、二、三”中分別使用命令搭建了一個完整的集羣，但是命令過多，當集羣節點衆多時，必然會加大搭建集羣的複雜度和運維成本。因此redis還提供了redis-cli --cluster來搭建集羣
• 備註：
  • redis-cli --cluster命令本來是由redis-trib.rb工具提供的，但是隨着發展，redis-trib.rb工具的功能被逐漸歸納到redis-cli工具中了
  • 本文只介紹redis-cli --cluster的搭建集羣的功能，其還提供很多功能，在後面的“集羣伸縮”等文章中還有介紹

①準備節點

• 與上面一樣，先關閉上面的所有節點，重新啓動6個集羣節點進行實驗

sudo redis-server /opt/redis/conf/redis-6379.conf
sudo redis-server /opt/redis/conf/redis-6380.conf
sudo redis-server /opt/redis/conf/redis-6381.conf
sudo redis-server /opt/redis/conf/redis-6382.conf
sudo redis-server /opt/redis/conf/redis-6383.conf
sudo redis-server /opt/redis/conf/redis-6384.conf

②創建集羣

• 輸入下面的命令自動完成節點握手和槽分配。命令如下：
  • --cluster-replicas 1：指定集羣中每個主節點配備幾個從節點，這裏設置爲1。並且該命令會自己創建主節點和分配從節點，其中前3個是主節點，後3個是從節點，後3個從節點分別複製前3個主節點

# 創建3個集羣主節點和3個集羣從節點
redis-cli --cluster create --cluster-replicas 1 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384

• 輸入上面的命令之後，中間會讓你輸入yes或no，下面我們輸入yes開始執行節點握手和槽分配操作

• 最後的輸出報告說明：16384個槽全部被分配，集羣創建成功。這裏需要注意命令中節點的地址必須是不包含任何槽/數據的節點，否則會拒絕創建集羣
• 備註：如果只想創建主節點，而不同時創建從節點，那麼需要忽略--cluster-replicas 1參數。命令如下，例如下面只創建3個集羣主節點

# 只創建3個集羣主節點
​redis-cli --cluster create 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:638

③集羣完整性檢查

• 集羣完整性指所有的槽都分配到存活的主節點上，只要16384個槽中有 一個沒有分配給節點則表示集羣不完整
• 可以使用下面的命令檢測之前創建的兩個集羣是否成功，check命令只需要給出集羣中任意一個節點地址就可以完成整個集羣的檢查工作：

redis-cli --cluster check 127.0.0.1:6379

• 上面最後輸出的信息提示集羣所有的槽都已分配到節點