最近研究了redis的集羣方案,第一個方案是創建 redis cluster,第二種方案就是用哨兵模式來進行主從替換以及故障恢復。
一、sentinel介紹
Redis Sentinel
Sentinel(哨兵)是用於監控redis集羣中Master狀態的工具,其已經被集成在redis2.4+的版本中
Sentinel作用:
1):Master狀態檢測
2):如果Master異常,則會進行Master-Slave切換,將其中一個Slave作爲Master,將之前的Master作爲Slave
3):Master-Slave切換後,master_redis.conf、slave_redis.conf和sentinel.conf的內容都會發生改變,即master_redis.conf中會多一行slaveof的配置,sentinel.conf的監控目標會隨之調換
Sentinel工作方式:
1):每個Sentinel以每秒鐘一次的頻率向它所知的Master,Slave以及其他 Sentinel 實例發送一個 PING 命令
2):如果一個實例(instance)距離最後一次有效回覆 PING 命令的時間超過 down-after-milliseconds 選項所指定的值, 則這個實例會被 Sentinel 標記爲主觀下線。
3):如果一個Master被標記爲主觀下線,則正在監視這個Master的所有 Sentinel 要以每秒一次的頻率確認Master的確進入了主觀下線狀態。
4):當有足夠數量的 Sentinel(大於等於配置文件指定的值)在指定的時間範圍內確認Master的確進入了主觀下線狀態, 則Master會被標記爲客觀下線
5):在一般情況下, 每個 Sentinel 會以每 10 秒一次的頻率向它已知的所有Master,Slave發送 INFO 命令
6):當Master被 Sentinel 標記爲客觀下線時,Sentinel 向下線的 Master 的所有 Slave 發送 INFO 命令的頻率會從 10 秒一次改爲每秒一次
7):若沒有足夠數量的 Sentinel 同意 Master 已經下線, Master 的客觀下線狀態就會被移除。
若 Master 重新向 Sentinel 的 PING 命令返回有效回覆, Master 的主觀下線狀態就會被移除。
主觀下線和客觀下線
主觀下線:Subjectively Down,簡稱 SDOWN,指的是當前 Sentinel 實例對某個redis服務器做出的下線判斷。
客觀下線:Objectively Down, 簡稱 ODOWN,指的是多個 Sentinel 實例在對Master Server做出 SDOWN 判斷,並且通過 SENTINEL is-master-down-by-addr 命令互相交流之後,得出的Master Server下線判斷,然後開啓failover.
通俗來講就是:
redis的sentinel系統用來管理多個redis服務器,可以實現一個功能上實現HA的集羣。該系統主要執行三個任務:
①監控( Monitoring ): Redis Sentinel實時監控主服務器和從服務器運行狀態。
②提醒(notification): 當被監控的某個 Redis 服務器出現問題時, Redis Sentinel 可以向系統管理員發送通知, 也可以通過 API 向其他程序發送通知
一個簡單的主從結構加sentinel集羣的架構圖如下:
上圖是一主一從節點,加上兩個部署了sentinel的集羣,sentinel集羣之間會互相通信,溝通交流redis節點的狀態,做出相應的判斷並進行處理,這裏的主觀下線狀態和客觀下線狀態是比較重要的狀態,它們決定了是否進行故障轉移
可以 通過訂閱指定的頻道信息,當服務器出現故障得時候通知管理員
客戶端可以將 Sentinel 看作是一個只提供了訂閱功能的 Redis 服務器,你不可以使用 PUBLISH 命令向這個服務器發送信息,但你可以用 SUBSCRIBE 命令或者 PSUBSCRIBE 命令, 通過訂閱給定的頻道來獲取相應的事件提醒。
一個頻道能夠接收和這個頻道的名字相同的事件。 比如說, 名爲 +sdown 的頻道就可以接收所有實例進入主觀下線(SDOWN)狀態的事件。
二、搭建redis-sentinel 集羣環境
1.搭建redis主從,一個master兩個slave,加一個哨兵監聽(sentinel),可以新建三個虛擬機,模擬環境,我的電腦沒那麼多虛擬機,就在一臺虛擬機上弄的.
2.安裝redis,如果是三臺機器,安裝redis的步驟一樣.
3.安裝完redis後,複製同樣的文件兩份用於當slave
#複製兩份redis文件,當從redis(端口6379爲主redis,端口6380,6381兩個爲從redis) [root@localhost src]# cp -r /usr/redis/redis-3.2.4 /usr/redis/redis-6380 [root@localhost src]# cp -r /usr/redis/redis-3.2.4 /usr/redis/redis-6381
4.修改兩份 redis.conf 配置文件
[root@localhost src]# vi /usr/redis/redis-6380/redis.conf
[root@localhost src]# vi /usr/redis/redis-6381/redis.conf
redis.conf 配置文件中主要改的地方(以/usr/redis/redis-6380/redis.conf文件爲例)
1.bind 192.168.200.108(改爲虛擬機的ip)
2.port 6380(端口號)
3.daemonize yes(守護進程)
4.pidfile "/var/run/redis_6380.pid"(進程的目錄)
5.slaveof 192.168.200.108 6379(設置爲此redis爲master的IP與端口號)
6.slave-read-only yes(只讀)
5.修改兩份 sentinel.conf 配置文件
[root@localhost src]# vi /usr/redis/redis-6380/sentinel.conf
[root@localhost src]# vi /usr/redis/redis-6381/sentinel.conf
sentinel.conf 配置文件修改的地方
1.port 26379(端口號,可以使用默認端口)
2.sentinel monitor master 192.168.200.108 6379 2(主redis的名稱,ip和端口)
6.在主redis配置哨兵監聽
[root@localhost src]# vi /usr/redis/redis-3.2.4/sentinel.conf
#修改要監聽的主機ip和端口
##sentinel for 10.0.0.10 ,its slave is 10.0.0.20 #master1 port 26383
protected-mode no
sentinel monitor mymaster 192.168.200.108 6379 2 sentinel down-after-milliseconds master1 30000 sentinel failover-timeout master1 900000 sentinel parallel-syncs master1 1 #sentinel auth-pass mymaster 123456 #如果你的redis集羣有密碼
7.在/etc/init.d文件中複製兩份redis啓動腳本(腳本內容見之前寫的 啓動redis腳本 文章)
修改端口號和文件路徑(以redis-6380爲例)
8.啓動三臺redis
啓動哨兵
[root@localhost ~]# ps -ef|grep redis
root 3403 1 0 20:28 ? 00:00:00 /usr/redis/redis-3.2.4/src/redis-server 192.168.200.108:6379
root 3415 1 0 20:28 ? 00:00:00 /usr/redis/redis-6380/src/redis-server 192.168.200.108:6380
root 3427 1 0 20:28 ? 00:00:00 /usr/redis/redis-6381/src/redis-server 192.168.200.108:6381
root 3432 3373 0 20:28 pts/1 00:00:00 grep redis
[root@localhost ~]# cd /usr/redis/redis-3.2.4
[root@localhost redis-3.2.4]# src/redis-sentinel sentinel.conf &
[1] 3443
[root@localhost redis-3.2.4]# 3443:X 02 Mar 20:30:29.076 * Increased maximum number of open files to 10032 (it was originally set to 1024).
_._
_.-``__ ''-._
_.-`` `. `_. ''-._ Redis 3.2.4 (00000000/0) 64 bit
.-`` .-```. ```\/ _.,_ ''-._
( ' , .-` | `, ) Running in sentinel mode
|`-._`-...-` __...-.``-._|'` _.-'| Port: 26379
| `-._ `._ / _.-' | PID: 3443
`-._ `-._ `-./ _.-' _.-'
|`-._`-._ `-.__.-' _.-'_.-'|
| `-._`-._ _.-'_.-' | http://redis.io
`-._ `-._`-.__.-'_.-' _.-'
|`-._`-._ `-.__.-' _.-'_.-'|
| `-._`-._ _.-'_.-' |
`-._ `-._`-.__.-'_.-' _.-'
`-._ `-.__.-' _.-'
`-._ _.-'
`-.__.-'
3443:X 02 Mar 20:30:29.104 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
3443:X 02 Mar 20:30:29.104 # Sentinel ID is ec55f3b5cca3a78aae0ad0fe94c78d7612221e0b
3443:X 02 Mar 20:30:29.104 # +monitor master master 192.168.200.108 6379 quorum 1
3443:X 02 Mar 20:30:29.104 # +monitor master mymaster 127.0.0.1 6379 quorum 2
3443:X 02 Mar 20:30:59.106 # +sdown master mymaster 127.0.0.1 6379
9.查看三臺redis的從屬關係
[root@localhost redis-3.2.4]# ps -ef|grep redis
root 3677 1 0 21:18 ? 00:00:02 /usr/redis/redis-3.2.4/src/redis-server 192.168.200.108:6379
root 3777 1 0 21:35 ? 00:00:00 /usr/redis/redis-6380/src/redis-server 192.168.200.108:6380
root 3791 1 0 21:35 ? 00:00:00 /usr/redis/redis-6381/src/redis-server 192.168.200.108:6381
root 3804 3730 0 21:37 pts/3 00:00:00 src/redis-sentinel *:26379 [sentinel]
root 3810 3730 0 21:38 pts/3 00:00:00 grep redis
[root@localhost redis-3.2.4]# cd /usr/redis/redis-3.2.4/src
[root@localhost src]# ./redis-cli -h 192.168.200.108 -p 6379
192.168.200.108:6379> info replication --->查看當前redis信息
# Replication
role:master --->說明是主redis
connected_slaves:2
slave0:ip=192.168.200.108,port=6380,state=online,offset=6165957,lag=0 --->從redis端口和ip 192.168.200.108 6380
slave1:ip=192.168.200.108,port=6381,state=online,offset=6165667,lag=0 --->從redis端口和ip 192.168.200.108 6381
master_repl_offset:6165957
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:5117382
repl_backlog_histlen:1048576
[root@localhost src]# ./redis-cli -h 192.168.200.108 -p 6380 --->連接192.168.200.108 6380查看信息
192.168.200.108:6380> info replication
# Replication
role:slave --->從redis
master_host:192.168.200.108 --->主redis ip
master_port:6379 --->主redis端口
master_link_status:up
master_last_io_seconds_ago:0
master_sync_in_progress:0
slave_repl_offset:4430
slave_priority:100
slave_read_only:1
connected_slaves:0
master_repl_offset:0
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
192.168.200.108:6380>
[root@localhost src]# ./redis-cli -h 192.168.200.108 -p 6381 --->連接192.168.200.108 6381查看信息
192.168.200.108:6381> info replication
# Replication
role:slave --->從redis
master_host:192.168.200.108
master_port:6379
master_link_status:up
master_last_io_seconds_ago:1
master_sync_in_progress:0
slave_repl_offset:73275
slave_priority:100
slave_read_only:1
connected_slaves:0
master_repl_offset:0
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
10.當把主redis kill 後,哨兵會監聽會master,當發現master掛了後,哨兵開始故障恢復,選取一個從redis升級爲主庫
常用命令
slaveof no one : 手動設置從redis,從屬服務器關閉複製功能,並從從屬服務器轉變回主服務器,原來同步所得的數據集不會被丟棄
192.168.200.108:6380> slaveof no one
OK
slaveof host port : 將當前服務器轉變爲指定服務器的從屬服務器(slave server)。
192.168.200.108:6381> slaveof 192.168.200.108 6379
OK