Redis 3.0版本以上开始支持cluster,采用的是hash slot(hash 槽),可以将多个Redis实例整个在一起,形成一个群集,也就是将数据分散到群集的多个机器上。
Redis群集原理
当客户端向群集中任一节点发送与数据库键有关的命令是,接受命令的节点会计算出命令要处理的数据库键属于哪个槽,并检查这个槽是否指派给了自己。如果键所在的槽正好指派给了当前节点,那么节点直接执行这个命令;如果键所在的槽并没有指派给当前节点,那么节点会向客户端返回一个MOVED错误,指引客户端转向正确的节点,并再次发送之前想要执行的命令。
群集角色有Master和Slave。Master之间分配slots,一共有16384个slot。Slave向它指定的Master同步数据,实现备份。当其中一个Master无法提供服务时,该Master的Slave将提升为Master。以保证群集键slot的完整性。当其中的某一个Master和它的Slave都失效,就会导致slot不完整,群集失效,这是就需要人工参与修复。
群集搭建好后,群集中的每个节点都会定期地想其他节点发送PING消息,如果接收PING消息的节点没有在规定的时间内返回PONG消息,那么发送PING消息的节点就会将其标记为疑似下线(PFAIL)。各个节点会通过互相发送消息的方式来交换群集中各个节点的状态信息。如果在一个群集里,半数以上的主节点都将某个节点 X 报告为疑似下线,那么这个主节点 X 将被标记为已下线(FAIL),同时会向群集广播一条关于主节点 X 的FAIL消息,所有收到这条FAIL消息的节点都会立即将主节点 X 标记为已下线。
当需要减少或增加群集中的机器时,我们需要将已经指派给某个节点(源节点)的槽改为指派给另一个节点(目标节点),并且将相关槽所属的键值对从源节点移动到目标节点。
Redis群集的重新分片操作是由Redis的群集管理软件redis-trib负责执行的,不支持自动的分片,而且需要自己计算从哪些节点上迁移多少Slot。在重新分片的过程中,群集不需要下线,并且源节点和目标节点都可以继续处理命令请求。
细节架构
- 1.所有的redis节点彼此互联,内部使用二进制协议优化传输速度和带宽
- 2.节点的失效在群集中超过半数的主节点检测失效才失效
- 3.客户端与redis节点直连,不需要中间代理层,客户端不需要连接群集所有节点,连接群集中任何一个可用节点即可
- 4.redis-cluster把所有的物理节点映射到【0-16383】slot上,cluster 负责维护node<->slot<->key
Redis-cluster选举
选举过程是群集中所有master参与,如果半数以上master节点与当前master节点通信超时,认为当前master节点挂掉。(如上图)以下两种情况出现则为群集不可用。
- 如果群集任意master挂掉,且当前master没有slave,则群集进入fail状态,也可以理解为群集的slot映射【0-16383】不完整时进入的fail状态。
- 如果群集中出现半数的master挂掉,无论是否有slave,群集都进入fail状态。
默认情况下,每个群集的节点都使用两个TCP端口,一个是6379,一个是16379,6379端口服务于客户端的连接,16379端口用于群集总线。
即使用二进制协议的节点到节点通信通道。节点使用群集总线进行故障检测,配置更新、故障转移授权等。如果开启了防火墙,需要开放这个端口
Redis群集部署
理解了Redis群集原理之后,搭建redis群集就变得非常简单了。本次实验采用6台服务器搭建Redis群集,其中3台为master,3台为salve。6台服务器的IP地址为192.168.1.1/24——192.168.1.6/24
1.安装Redis并修改配置文件
网盘下载:https://pan.baidu.com/s/1tiHpDwy3nAy7EszY7jjgWg
在每一台上都要安装Redis,然后修改配置文件如下,其中每台都要修改,只是ip不同(1-6),其他配置都一样
1)在192.168.1.1-1.6上安装Redis
[root@localhost ~]# tar zxf redis-3.2.9.tar.gz -C /usr/src/
[root@localhost ~]# cd /usr/src/
[root@localhost src]# cd redis-3.2.9/
[root@localhost redis-3.2.9]# make && make install //编译安装
[root@localhost redis-3.2.9]# cd utils/
[root@localhost utils]# ./install_server.sh
Welcome to the redis service installer
This script will help you easily set up a running redis server
Please select the redis port for this instance: [6379]
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf]
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log]
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379]
Selected default - /var/lib/redis/6379
Please select the redis executable path [/usr/local/bin/redis-server]
Selected config:
Port : 6379
Config file : /etc/redis/6379.conf //设置默认配置文件
Log file : /var/log/redis_6379.log //日志文件
Data dir : /var/lib/redis/6379 //数据目录
Executable : /usr/local/bin/redis-server //执行命令
Cli Executable : /usr/local/bin/redis-cli //客户端命令
Is this ok? Then press ENTER to go on or Ctrl-C to abort.
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!
[root@localhost utils]# netstat -anput | grep redis
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 7012/redis-server 1
2)在192.168.1.1-1.6修改配置文件 (演示的是1.1)
[root@localhost ~]# vim /etc/redis/6379.conf
bind 192.168.1.1 //改为本机的IP地址
daemonize yes
logfile /var/log/redis_6379.log
cluster-enabled yes //启用群集
cluster-config-file nodes-6379.conf
cluster-node-timeout 15000
cluster-require-full-coverage no
[root@localhost ~]# /etc/init.d/redis_6379 restart //重启
Stopping ...
Redis stopped
Starting Redis server...
[root@localhost ~]# netstat -anpt | grep 6379
tcp 0 0 192.168.1.1:6379 0.0.0.0:* LISTEN 6497/redis-server 1
tcp 0 0 192.168.1.1:16379 0.0.0.0:* LISTEN 6497/redis-server 1
tcp 0 0 127.0.0.1:6379 127.0.0.1:43304 TIME_WAIT -
2.使用脚本创建群集
创建群集要用到ruby的一个脚本,在创建群集之前,需要先安装ruby的运行环境和ruby的Redis客户端,该操作在其中一台服务器进行即可。(这里使用1.1演示)gem命令是提前下载的redis-3.2.0 gem软件包提供的,上面网盘下载提供了相应的软件包。
[root@localhost ~]# yum -y install ruby rubygems //安装ruby的运行环境
[root@localhost ~]# gem install redis --version 3.2.0
Successfully installed redis-3.2.0
Parsing documentation for redis-3.2.0
Installing ri documentation for redis-3.2.0
1 gem installed
使用脚本创建群集
[root@localhost ~]# cd /usr/src/redis-3.2.9/src
[root@localhost src]# ./redis-trib.rb create --replicas 1 192.168.1.1:6379 192.168.1.2:6379 192.168.1.3:6379 192.168.1.4:6379 192.168.1.5:6379 192.168.1.6:6379
//省略内容
Can I set the above configuration? (type 'yes' to accept): yes
//省略部分内容
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
测试
[root@localhost src]# ./redis-trib.rb check 192.168.1.1:6379 //查看群集状态
>>> Performing Cluster Check (using node 192.168.1.1:6379)
M: afb2a0876b9c4c1c19e2bc492e398765bed0a311 192.168.1.1:6379
slots:0-5460 (5461 slots) master
1 additional replica(s)
S: 00ed4b0da4f0444c7e2a54a44c2060dd2c51a19a 192.168.1.4:6379
slots: (0 slots) slave
replicates afb2a0876b9c4c1c19e2bc492e398765bed0a311
S: 081d87a0d26895605e4c237c5429d3ae6e01f7b2 192.168.1.5:6379
slots: (0 slots) slave
replicates 050d71e6ad9bbf0a2a90b743d5a9bb9fb77052bb
S: 00bf8cb3a48a696d9bfc4b124234335633dc14d0 192.168.1.6:6379
slots: (0 slots) slave
replicates bec4c3401ced5a43439568f5530d79dd2a911512
M: 050d71e6ad9bbf0a2a90b743d5a9bb9fb77052bb 192.168.1.2:6379
slots:5461-10922 (5462 slots) master
1 additional replica(s)
M: bec4c3401ced5a43439568f5530d79dd2a911512 192.168.1.3:6379
slots:10923-16383 (5461 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
登录群集,设置键值测试,需要用到“-c”参数来激活群集,具体操作如下:
[root@localhost ~]# redis-cli -h 192.168.1.1 -p 6379 -c
192.168.1.1:6379> set qzt 1000
-> Redirected to slot [12706] located at 192.168.1.4:6379 //可以看到1.4上
OK
192.168.1.3:6379> get qzt
"100"