redis 集羣

一、概述

​ Redis3.0版本之後支持Cluster.

1.1、redis cluster的現狀

　　目前redis支持的cluster特性：

　　1):節點自動發現

　　2):slave->master 選舉,集羣容錯

　　3):Hot resharding:在線分片

　　4):進羣管理:cluster xxx

　　5):基於配置(nodes-port.conf)的集羣管理

　　6):ASK 轉向/MOVED 轉向機制.

​

1.2、redis cluster 架構

　　1)redis-cluster架構圖

架構細節:

　　(1)所有的redis節點彼此互聯(PING-PONG機制),內部使用二進制協議優化傳輸速度和帶寬.

　　(2)節點的fail是通過集羣中超過半數的節點檢測失效時才生效.

　　(3)客戶端與redis節點直連,不需要中間proxy層.客戶端不需要連接集羣所有節點,連接集羣中任何一個可用節點即可

　　(4)redis-cluster把所有的物理節點映射到[0-16383]slot上,cluster 負責維護node<->slot<->value

2) redis-cluster選舉:容錯

(1)領着選舉過程是集羣中所有master參與,如果半數以上master節點與master節點通信超過(cluster-node-timeout),認爲當前master節點掛掉.

(2):什麼時候整個集羣不可用(cluster_state:fail),當集羣不可用時,所有對集羣的操作做都不可用，收到((error) CLUSTERDOWN The cluster is down)錯誤

​ 　　a:如果集羣任意master掛掉,且當前master沒有slave.集羣進入fail狀態,也可以理解成進羣的slot映射[0-16383]不完成時 進入fail狀態.

​ 那麼爲什麼任意一個節點掛了（沒有從節點）這個集羣就掛了呢？ -> 因爲集羣內置了16384個slot（哈希槽），並且把所有的物理節點映射到了這16384[0-16383]個slot上，或者說把這些slot均等的分配給了各個節點。當需要在Redis集羣存放一個數據（key-value）時，redis會先對這個key進行crc16算法，然後得到一個結果。再把這個結果對16384進行求餘，這個餘數會對應[0-16383]其中一個槽，進而決定key-value存儲到哪個節點中。所以一旦某個節點掛了，該節點對應的slot就無法使用，那麼就會導致集羣無法正常工作。

• ​ 綜上所述，每個Redis集羣理論上最多可以有16384個節點。

​ 　　b:如果進羣超過半數以上master掛掉，無論是否有slave集羣進入fail狀態.

(3) Redis集羣至少需要3個節點，因爲投票容錯機制要求超過半數節點認爲某個節點掛了該節點纔是掛了，所以2個節點無法構成集羣。

要保證集羣的高可用，需要每個節點都有從節點，也就是備份節點，所以Redis集羣至少需要6臺服務器。因爲我沒有那麼多服務器，也啓動不了那麼多虛擬機，所在這裏搭建的是僞分佈式集羣，即一臺服務器虛擬運行6個redis實例，修改端口號爲（7000-7005），當然實際生產環境的Redis集羣搭建和這裏是一樣的。

二、redis cluster安裝

1、下載

[root@localhost ~]# cd /usr/local/
[root@localhost local]# wget http://download.redis.io/releases/redis-5.0.4.tar.gz
[root@localhost local]# tar -zxvf redis-5.0.4.tar.gz

2、 編譯安裝

[root@localhost local]# cd redis-5.0.4
[root@localhost redis-5.0.4]# make && make install

3、創建redis節點

測試我們選擇2臺服務器，分別爲：192.168.11.11，192.168.11.12每個服務器有3個節點。

我先在192.168.11.11創建3個節點：

 [root@localhost redis-5.0.4]# cd /usr/local/
 [root@localhost local]# mkdir redis_cluster         //創建集羣目錄
 [root@localhost local]# cd redis_cluster
 [root@localhost redis_cluster]# mkdir 7000 7001 7002  //分別代表三個節點    
 其對應端口 7000 7001 7002
 //創建7000節點爲例，拷貝到7000目錄
 [root@localhost redis_cluster]# cp /usr/local/redis-5.0.4/redis.conf  ./7000/   
 //拷貝到7001目錄
 [root@localhost redis_cluster]# cp /usr/local/redis-5.0.4/redis.conf  ./7001/   
 //拷貝到7002目錄
 [root@localhost redis_cluster]# cp /usr/local/redis-5.0.4/redis.conf  ./7002/ 
 [root@localhost redis_cluster]# vim ./7000/redis.conf

daemonize    yes                          //redis後臺運行
pidfile  /var/run/redis_7000.pid          //pidfile文件對應7000,7002,7003
port  7000                                //端口7000,7002,7003
cluster-enabled  yes                      //開啓集羣  把註釋#去掉
cluster-config-file  nodes_7000.conf      //集羣的配置  配置文件首次啓動自動生成 7000,7001,7002
cluster-node-timeout  5000                //請求超時  設置5秒夠了
appendonly  yes                           //aof日誌開啓  有需要就開啓，它會每次寫操作都記錄一條日誌

同理：在192.168.11.12創建3個節點：對應的端口改爲7003,7004,7005.配置對應的改一下就可以了。

4、兩臺機啓動各節點(兩臺服務器方式一樣)

[root@localhost redis_cluster]# cd /usr/local
[root@localhost local]# redis-server  ./redis_cluster/7000/redis.conf
[root@localhost local]# redis-server  ./redis_cluster/7001/redis.conf
[root@localhost local]# redis-server  ./redis_cluster/7002/redis.conf
[root@localhost local]# redis-server  ./redis_cluster/7003/redis.conf
[root@localhost local]# redis-server  ./redis_cluster/7004/redis.conf
[root@localhost local]# redis-server  ./redis_cluster/7005/redis.conf

5、查看服務

​ ps -ef | grep redis #查看是否啓動成功

三、創建集羣

前面已經準備好了搭建集羣的redis節點，接下來我們要把這些節點都串連起來搭建集羣。官方提供了一個工具：redis-trib.rb(/usr/local/redis-3.2.1/src/redis-trib.rb) 看後綴就知道這鳥東西不能直接執行，它是用ruby寫的一個程序，所以我們還得安裝ruby.

[root@localhost local]# yum -y install ruby ruby-devel rubygems rpm-build 

再用 gem 這個命令來安裝 redis接口 gem是ruby的一個工具包.

gem install redis    
當然，方便操作，兩臺Server都要安裝。

如果提示以下錯誤

[root@localhost local]# gem install redis
ERROR:  Error installing redis:
 redis requires Ruby version >= 2.2.2.

CentOS7 yum庫中ruby的版本支持到 2.0.0，可gem 安裝redis需要最低是2.2.2，採用rvm來更新ruby：

1、安裝 RVM

[root@localhost local]# gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3 7D2BAF1CF37B13E2069D6956105BD0E739499BDB 
[root@localhost local]# curl -sSL https://get.rvm.io | bash -s stable
[root@localhost local]# find / -name rvm -print

                /usr/local/rvm
　　 　　        /usr/local/rvm/src/rvm
　　 　　        /usr/local/rvm/src/rvm/bin/rvm
　　 　　        /usr/local/rvm/src/rvm/lib/rvm
　　 　        　/usr/local/rvm/src/rvm/scripts/rvm
　　 　　        /usr/local/rvm/bin/rvm
　　 　　        /usr/local/rvm/lib/rvm
　　 　        　/usr/local/rvm/scripts/rvm
　　 　        　
[root@localhost local]# source /usr/local/rvm/scripts/rvm

2、查看rvm庫中已知的ruby版本：

 [root@localhost local]# rvm list known

MRI Rubies
　　　　[ruby-]1.8.6[-p420]
　　　　[ruby-]1.8.7[-head] # security released on head
　　　　[ruby-]1.9.1[-p431]
　　　　[ruby-]1.9.2[-p330]
　　　　[ruby-]1.9.3[-p551]
　　　　[ruby-]2.0.0[-p648]
　　　　[ruby-]2.1[.10]
　　　　[ruby-]2.2[.7]
　　　　[ruby-]2.3[.4]
　　　　[ruby-]2.4[.1]
　　　　ruby-head
　　　　….

3、安裝一個ruby版本：

 [root@localhost local]# rvm install 2.4.1

Searching for binary rubies, this might take some time.
　　　　Found remote file https://rvm_io.global.ssl.fastly.net/binaries/centos/7/x86_64/ruby-2.4.1.tar.bz2
　　　　Checking requirements for centos.
　　　　Requirements installation successful.
　　　　ruby-2.4.1 - #configure
　　　　ruby-2.4.1 - #download
　　　　 % Total % Received % Xferd Average Speed Time Time Time Current
　　　　 Dload Upload Total Spent Left Speed
　　　　100 14.1M 100 14.1M 0 0 97k 0 0:02:27 0:02:27 --:--:-- 159k
　　　　No checksum for downloaded archive, recording checksum in user configuration.
　　　　ruby-2.4.1 - #validate archive
　　　　ruby-2.4.1 - #extract
　　　　ruby-2.4.1 - #validate binary
　　　　ruby-2.4.1 - #setup
　　　　ruby-2.4.1 - #gemset created /usr/local/rvm/gems/ruby-2.4.1@global
　　　　ruby-2.4.1 - #importing gemset /usr/local/rvm/gemsets/global.gems..............................
　　　　ruby-2.4.1 - #generating global wrappers........
　　　　ruby-2.4.1 - #gemset created /usr/local/rvm/gems/ruby-2.4.1
　　　　ruby-2.4.1 - #importing gemsetfile /usr/local/rvm/gemsets/default.gems evaluated to empty gem list
　　　　ruby-2.4.1 - #generating default wrappers........

4、使用一個ruby版本：

 [root@localhost local]# rvm use 2.4.1

5、設置默認版本：

(設置ruby2.4.1爲默認的ruby，因爲還安裝有1.8.3)

 [root@localhost local]# rvm use 2.4.1 --default

6、卸載一個已知版本：

 [root@localhost local]# rvm remove 2.3.4

7、查看ruby版本：

 [root@localhost local]# ruby --version

8、安裝redis：

[root@localhost local]# gem install redis

Fetching: redis-4.0.1.gem (100%)
　　　　Successfully installed redis-4.0.1
　　　　Parsing documentation for redis-4.0.1
　　　　Installing ri documentation for redis-4.0.1
　　　　Done installing documentation for redis after 3 seconds
　　　　1 gem installed

上面的步驟完事了，接下來運行一下redis-trib.rb

[root@localhost local]# /usr/local/redis-5.0.4/src/redis-trib.rb

Usage: redis-trib <command> <options> <arguments ...>

   reshard        host:port
                  --to <arg>
                  --yes
                  --slots <arg>
                  --from <arg>
  check          host:port
  call            host:port command arg arg .. arg
  set-timeout    host:port milliseconds
  add-node        new_host:new_port existing_host:existing_port
                  --master-id <arg>
                  --slave
  del-node        host:port node_id
  fix            host:port
  import          host:port
                  --from <arg>
  help            (show this help)
  create          host1:port1 ... hostN:portN
                  --replicas <arg>

For check, fix, reshard, del-node, set-timeout you can specify the host and port of any working node in the cluster.

看到這，應該明白了吧， 就是靠上面這些操作 完成redis集羣搭建的.

確認所有的節點都啓動，接下來使用參數create 創建 (在192.168.11.11中來創建)

解釋下， --replicas 1 表示 自動爲每一個master節點分配一個slave節點 上面有6個節點，程序會按照一定規則生成 3個master（主）3個slave(從)

​ 前面已經提醒過的 防火牆一定要開放監聽的端口，否則會創建失敗。

運行中，提示Can I set the above configuration? (type 'yes' to accept): yes //輸入yes
如果提示 Sending Cluster Meet Message to join the Cluster.
Waiting for the cluster to join..........
​ 在192.168.11.12, redis-cli -c -p 7003 分別進入redis各節點的客戶端命令窗口， 依次輸入 cluster meet 192.168.11.12 7003……

​ 回到Server1，已經創建完畢了。

​ 查看一下

[root@localhost local]# /usr/local/redis/src/redis-trib.rb check 192.168.11.11:7000

​ 到這裏集羣已經初步搭建好了。

四、測試

1）get 和 set數據

[root@localhost local]# redis-cli -c -p 7000

​ 進入命令窗口，直接 set hello howareyou
然後可以去別的節點 get hello 查看下

​ 直接根據hash匹配切換到相應的slot的節點上。

​ 還是要說明一下，redis集羣有16383個slot組成，通過分片分佈到多個節點上，讀寫都發生在master節點。

2）假設測試

​ 先把192.168.11.12的服務Down掉，（192.168.11.12有1個Master, 2個Slave） , 切到192.168.11.11, 查看一下 ，192.168.11.11的3個節點全部都是Master，其他幾個Server2的不見了

​ 測試一下，依然沒有問題，集羣依然能繼續工作。

​ 原因： redis集羣 通過選舉方式進行容錯，保證一臺Server掛了還能跑，這個選舉是全部集羣超過半數以上的Master發現其他Master掛了後，會將其他對應的Slave節點升級成Master.

​ 疑問： 要是掛的是192.168.11.11怎麼辦？ 毫無疑問，cluster is down!! 沒辦法，超過半數掛了那救不了了，整個集羣就無法工作了。 要是有三臺Server，每臺兩Master，切記對應的主從節點不要放在一臺Server,別問我爲什麼自己用腦子想想看，互相交叉配置主從，掛哪臺也沒事，但是如果同時兩臺crash了，涼涼~