Redis從零到cluster集羣實踐詳解

博文結構介紹

1、博文概要
Redis簡介
Redis安裝及基本配置
Redis持久化
Redis多數據類型開發(瞭解)
Redis複製及高可用
Redis 集羣分片
Redis API支持(Python篇)


2、軟件獲取和幫助獲取
Redis.io
Download/redis.io
Redisdoc.com
redis.cn

3、redis的核心特性
高速讀寫
數據類型豐富
支持持久化
多種內存分配及回收策略
支持事務
消息隊列、消息訂閱
支持高可用
支持分佈式分片集羣

與memeched區別:
支持事務
數據類型豐富
支持持久化
支持高可用
支持分佈式分片集羣

4、Redis安裝部署

下載:
wget http://download.redis.io/releases/redis-3.2.12.tar.gz
解壓:
上傳至 /data
tar xzf redis-3.2.12.tar.gz
mv redis-3.2.12 redis
安裝:
cd redis
make

修改環境變量

vim /etc/profile
export PATH=/application/mysql/bin/:/data/redis/src:$PATH

source /etc/profile

啓動和簡易連接:

redis-server &
redis-cli

5、Redis基本管理操作

5.1基礎配置文件介紹:

mkdir /data/6379

vim /data/6379/redis.conf

daemonize yes
port 6379
logfile /data/6379/redis.log
dir /data/6379
dbfilename dump.rdb
127.0.0.1:6379> shutdown 
not connected> exit
[root@db01 6379]# redis-server /data/6379/redis.conf 
[root@db03 ~]# netstat -lnp|grep 63

redis-cli shutdown

+++++++++++配置文件說明++++++++++++++

redis.conf
是否後臺運行:
daemonize yes
默認端口:
port 6379
日誌文件位置
logfile /var/log/redis.log
持久化文件存儲位置
dir /data/6379
RDB持久化數據文件:
dbfilename dump.rdb

+++++++++++++++++++++++++

5.2 redis安全配置

(1)redis沒有用戶概念,redis只有密碼
(2)redis默認在工作在保護模式下。不允許遠程任何用戶登錄的(protected-mode)

protected-mode yes/no (保護模式,是否只允許本地訪問)

DENIED Redis is running in protected mode because protected mode is enabled, 
no bind address was specified, no authentication password is requested to clients. 
In this mode connections are only accepted from the loopback interface. 
If you want to connect from external computers to Redis you may adopt one of the following solutions: 
1)Just disable protected mode sending the command 'CONFIG SET protected-mode no' 
 from the loopback interface by connecting to Redis from the same host the server is running, 
 however MAKE SURE Redis is not publicly accessible from internet if you do so.
 Use CONFIG REWRITE to make this change permanent. 
2) Alternatively you can just disable the protected mode by editing the Redis configuration file, 
 and setting the protected mode option to 'no', and then restarting the server.
3) If you started the server manually just for testing, restart it with the '--protected-mode no' option. 
4) Setup a bind address or an authentication password. 
 NOTE: You only need to do one of the above things in order for the server to start accepting connections from the outside.

(1)Bind :指定IP進行監聽

vim /data/6379/redis.conf
bind 10.0.0.52 127.0.0.1

(2)增加requirepass {password}

vim /data/6379/redis.conf
requirepass root

重啓生效:

redis-cli shutdown 

redis-server /data/6379/redis.conf

----------驗證-----

方法一:
[root@db03 ~]# redis-cli -a root
127.0.0.1:6379> set name zhangsan 
OK
127.0.0.1:6379> exit
方法二:
[root@db03 ~]# redis-cli
127.0.0.1:6379> auth root
OK
127.0.0.1:6379> set a b

5.3 在線查看和修改配置

CONFIG GET *

CONFIG GET requirepass
CONFIG SET requirepass 123456

5.4 redis持久化(內存數據保存到磁盤)
RDB 持久化
可以在指定的時間間隔內生成數據集的時間點快照(point-in-time snapshot)。
優點:速度快,適合於用做備份,主從複製也是基於RDB持久化功能實現的。
缺點:會有數據丟失

rdb持久化核心配置參數:

vim /data/6379/redis.conf

dir /data/6379
dbfilename dump.rdb
save 900 1
save 300 10
save 60 10000

配置分別表示:
900秒(15分鐘)內有1個更改
300秒(5分鐘)內有10個更改
60秒內有10000個更改

AOF 持久化(append-only log file)
記錄服務器執行的所有寫操作命令,並在服務器啓動時,通過重新執行這些命令來還原數據集。
AOF 文件中的命令全部以 Redis 協議的格式來保存,新命令會被追加到文件的末尾。
優點:可以最大程度保證數據不丟
缺點:日誌記錄量級比較大

AOF持久化配置

appendonly yes
appendfsync always

appendfsync everysec
appendfsync no

是否打開aof日誌功能
每1個命令,都立即同步到aof
每秒寫1次
寫入工作交給操作系統,由操作系統判斷緩衝區大小,統一寫入到aof.

vim /data/6379/redis.conf

appendonly yes
appendfsync everysec 

redis 持久化方式有哪些?有什麼區別?
rdb:基於快照的持久化,速度更快,一般用作備份,主從複製也是依賴於rdb持久化功能
aof:以追加的方式記錄redis操作日誌的文件。可以最大程度的保證redis數據安全,類似於mysql的binlog

Redis的數據類型

1、介紹:


                    key                                 value
                    鍵                                   值
                    自主定製的名字                     多數據類型的存儲模式

string類型                name                                "zhangsan"
hash類型(字典類型)    stu                                 {id:101,name:zhangsan}
LIST類型                wechat                              (v1,v2,v3)
                                                         0   1  2
SET(集合類型)           set1                                [m1,m2,m3]
                                                         0   1  2
Sorted SET(有序)      zset1                               [socre m1,score m2,score m3]
                                                                0        1       2

2、數據類型應用場景及基本操作

2.1 String類型
應用場景:
(1)非常基本的鍵值對存儲
(2)計數器
互聯網當中,點擊量,訪問量,關注量等
網頁遊戲應用當中的,血量、藍量等

基本操作:

127.0.0.1:6379> set name zhangsan 
OK
127.0.0.1:6379> get name
"zhangsan"
127.0.0.1:6379> mset id 101 name zhangsan age 20 gender male 
OK
127.0.0.1:6379> mget id name age gender

計數器應用

127.0.0.1:6379> incr fensi
127.0.0.1:6379> DECR fensi
127.0.0.1:6379> INCRBY fensi 10000
127.0.0.1:6379> DECRBY fensi 10003

127.0.0.1:6379> get fensi

2.2 HASH類型(字典類型)
應用場景:最接近於MySQL表結構的數據類型
存儲部分變更的數據,如用戶信息等。

基本操作:

127.0.0.1:6379> hset zhangsan name zs
(integer) 1
127.0.0.1:6379> hmset student id 101 name zs age 20 gender male
OK
127.0.0.1:6379> hmset stu id 102 name lisi age 21 gender male
OK
127.0.0.1:6379> hmget stu id name age gender
1) "102"
2) "lisi"
3) "21"
4) "male"
127.0.0.1:6379> hgetall stu
1) "id"
2) "102"
3) "name"
4) "lisi"
5) "age"
6) "21"
7) "gender"
8) "male"

小擴展:
MySQL 中 city表中前10行數據,灌入到redis中

MySQL:
        id        name      age    gender 
        101       zhangsan  20      male

hmset zhangsan_stu  id 101 name zhangsan  age 20 gender male

思路:

mysql> desc t1;
+-------+-------------+------+-----+---------+-------+
| Field | Type        | Null | Key | Default | Extra |
+-------+-------------+------+-----+---------+-------+
| id    | int(11)     | YES  |     | NULL    |       |
| name  | varchar(20) | YES  |     | NULL    |       |
+-------+-------------+------+-----+---------+-------+
2 rows in set (0.00 sec)

mysql> 
mysql> 
mysql> 
mysql> 
mysql> select concat("hmset stu_",name," id ",id," name ",name) from t1;
+---------------------------------------------------+
| concat("hmset stu_",name," id ",id," name ",name) |
+---------------------------------------------------+
| hmset stu_zhang3 id 1 name zhang3                 |
| hmset stu_li4 id 2 name li4                       |
| hmset stu_wang5 id 3 name wang5                   |
+---------------------------------------------------+

2.3 List列表類型
應用場景:朋友圈應用
在Redis中我們的最新微博ID使用了常駐緩存,這是一直更新的。
但是做了限制不能超過5000個ID,因此獲取ID的函數會一直詢問Redis。
只有在start/count參數超出了這個範圍的時候,才需要去訪問數據庫。 
系統不會像傳統方式那樣“刷新”緩存,Redis實例中的信息永遠是一致的。
SQL數據庫(或是硬盤上的其他類型數據庫)只是在用戶需要獲取“很遠”的數據時纔會被觸發,而主頁或第一個評論頁是不會麻煩到硬盤上的數據庫了。

例子:微信朋友圈應用

127.0.0.1:6379> LPUSH wechat "today is 1"
(integer) 1
127.0.0.1:6379> LPUSH wechat "today is 2"
(integer) 2
127.0.0.1:6379> LPUSH wechat "today is 3"
(integer) 3
127.0.0.1:6379> LPUSH wechat "today is 4"
(integer) 4
127.0.0.1:6379> LPUSH wechat "today is 5"

127.0.0.1:6379> LRANGE wechat 0 -1
1) "today is 5"
2) "today is 4"
3) "today is 3"
4) "today is 2"
5) "today is 1"
127.0.0.1:6379> 

2.4 SET 集合類型
應用場景:
案例: 在微博應用中,可以將一個用戶所有的關注人存在一個集合中,將其所有粉絲存在一個集合。
Redis還爲集合提供了求交集、並集、差集等操作,可以非常方便的實現如共同關注、共同喜好、二度好友等功能,
對上面的所有集合操作,你還可以使用不同的命令選擇將結果返回給客戶端還是存集到一個新的集合中。

127.0.0.1:6379> sadd lxl pg1 pg2 baoqiang masu marong 
(integer) 5
127.0.0.1:6379> sadd jnl baoqiang yufan baobeier zhouxingchi 
(integer) 4
127.0.0.1:6379> SUNION lxl jnl 
1) "zhouxingchi"
2) "baobeier"
3) "pg2"
4) "yufan"
5) "masu"
6) "baoqiang"
7) "pg1"
8) "marong"
127.0.0.1:6379> 
127.0.0.1:6379> SINTER lxl jnl
1) "baoqiang"
127.0.0.1:6379> SDIFF lxl jnl
1) "masu"
2) "pg1"
3) "marong"
4) "pg2"
127.0.0.1:6379> SDIFF jnl lxl
1) "yufan"
2) "zhouxingchi"
3) "baobeier"

2.5 Sorted Set

排行榜應用,取TOP N操作 
這個需求與上面需求的不同之處在於,前面操作以時間爲權重,這個是以某個條件爲權重,
比如按頂的次數排序,這時候就需要我們的sorted set出馬了,將你要排序的值設置成sorted set的score
,將具體的數據設置成相應的value,每次只需要執行一條ZADD命令即可。

例子: 歌曲排行榜

127.0.0.1:6379> zadd music 0 fskl 0 fshkl 0 lzlsfs 0 tm 0 ass 
(integer) 5
127.0.0.1:6379> 
127.0.0.1:6379> ZINCRBY music 1000 fskl
"1000"
127.0.0.1:6379> ZINCRBY music 10000  fshkl
"10000"
127.0.0.1:6379> ZINCRBY music 100000 lzlsfs
"100000"
127.0.0.1:6379> ZINCRBY music 1000000 tm
"1000000"
127.0.0.1:6379> ZINCRBY music 100 ass
"100"
127.0.0.1:6379> ZREVRANGE music 0 -1 withscores 
 1) "tm"

發佈訂閱

PUBLISH channel msg
    將信息 message 發送到指定的頻道 channel
SUBSCRIBE channel [channel ...]
    訂閱頻道,可以同時訂閱多個頻道
UNSUBSCRIBE [channel ...]
    取消訂閱指定的頻道, 如果不指定頻道,則會取消訂閱所有頻道
PSUBSCRIBE pattern [pattern ...]
    訂閱一個或多個符合給定模式的頻道,每個模式以 * 作爲匹配符,比如 it* 匹配所   有以 it 開頭的頻道( it.news 、 it.blog 、 it.tweets 等等), news.* 匹配所有 以 news. 開頭的頻道( news.it 、 news.global.today 等等),諸如此類
PUNSUBSCRIBE [pattern [pattern ...]]
    退訂指定的規則, 如果沒有參數則會退訂所有規則
PUBSUB subcommand [argument [argument ...]]
    查看訂閱與發佈系統狀態
注意:使用發佈訂閱模式實現的消息隊列,當有客戶端訂閱channel後只能收到後續發佈到該頻道的消息,之前發送的不會緩存,必須Provider和Consumer同時在線。

發佈訂閱例子:

窗口1:

127.0.0.1:6379> SUBSCRIBE baodi 

窗口2:

127.0.0.1:6379> PUBLISH baodi "jin tian zhen kaixin!"

訂閱多頻道:
窗口1:
127.0.0.1:6379> PSUBSCRIBE wang*
窗口2:
127.0.0.1:6379> PUBLISH wangbaoqiang "jintian zhennanshou "

7、Rediis事務

開啓事務功能時(multi)
multi
command1
command2
command3
command4

4條語句作爲一個組,並沒有真正執行,而是被放入同一隊列中。
如果,這是執行discard,會直接丟棄隊列中所有的命令,而不是做回滾。

exec
當執行exec時,對列中所有操作,要麼全成功要麼全失敗


127.0.0.1:6379> set a b
OK
127.0.0.1:6379> MULTI
OK
127.0.0.1:6379> set a b
QUEUED
127.0.0.1:6379> set c d
QUEUED
127.0.0.1:6379> exec
1) OK
2) OK

8、redis樂觀鎖實現(模擬買票)

發佈一張票
set ticket 1

窗口1:
watch ticket
multi
set ticket 0       1---->0

窗口2:
multi 
set ticket 0 
exec 

窗口1:
exec

9、 服務器管理命令

Info
Clinet list
Client kill ip:port
config get *
CONFIG RESETSTAT 重置統計
CONFIG GET/SET 動態修改
Dbsize
FLUSHALL 清空所有數據 
select 1
FLUSHDB 清空當前庫

MONITOR 監控實時指令
SHUTDOWN 關閉服務器

關閉數據庫:
redis-cli -a root shutdown

10、redis主從複製

原理:

1. 從服務器向主服務器發送 SYNC 命令。
2. 接到 SYNC 命令的主服務器會調用BGSAVE 命令,創建一個 RDB 文件,並使用緩衝區記錄接下來執行的所有寫命令。
3. 當主服務器執行完 BGSAVE 命令時,它會向從服務器發送 RDB 文件,而從服務器則會接收並載入這個文件。
4. 主服務器將緩衝區儲存的所有寫命令發送給從服務器執行。

1、在開啓主從複製的時候,使用的是RDB方式的,同步主從數據的
2、同步開始之後,通過主庫命令傳播的方式,主動的複製方式實現
3、2.8以後實現PSYNC的機制,實現斷線重連

主從數據一致性保證:
min-slaves-to-write 1
min-slaves-max-lag

這個特性的運作原理:

從服務器以每秒一次的頻率 PING 主服務器一次, 並報告複製流的處理情況。
主服務器會記錄各個從服務器最後一次向它發送 PING 的時間。

用戶可以通過配置, 指定網絡延遲的最大值 min-slaves-max-lag ,
以及執行寫操作所需的至少從服務器數量 min-slaves-to-write 。

如果至少有 min-slaves-to-write 個從服務器, 並且這些服務器的延遲值都少於 min-slaves-max-lag秒,
那麼主服務器就會執行客戶端請求的寫操作。

你可以將這個特性看作 CAP 理論中的 C 的條件放寬版本: 儘管不能保證寫操作的持久性, 
但起碼丟失數據的窗口會被嚴格限制在指定的秒數中。

另一方面, 如果條件達不到 min-slaves-to-write 和 min-slaves-max-lag 所指定的條件, 那麼寫操作就不會被執行
主服務器會向請求執行寫操作的客戶端返回一個錯誤。

主庫是否要開啓持久化?
如果不開,有可能主庫重啓操作,造成所有主從數據丟失!

主從複製實現:

1、環境:
準備兩個或兩個以上redis實例

mkdir /data/638{0..2}

配置文件示例:
vim /data/6380/redis.conf

port 6380
daemonize yes
pidfile /data/6380/redis.pid
loglevel notice
logfile "/data/6380/redis.log"
dbfilename dump.rdb
dir /data/6380
protected-mode no

vim /data/6381/redis.conf

port 6381
daemonize yes
pidfile /data/6381/redis.pid
loglevel notice
logfile "/data/6381/redis.log"
dbfilename dump.rdb
dir /data/6381
protected-mode no

vim /data/6382/redis.conf

port 6382
daemonize yes
pidfile /data/6382/redis.pid
loglevel notice
logfile "/data/6382/redis.log"
dbfilename dump.rdb
dir /data/6382
protected-mode no

啓動:

redis-server /data/6380/redis.conf
redis-server /data/6381/redis.conf
redis-server /data/6382/redis.conf

主節點:6380
從節點:6381、6382

2、開啓主從:
6381/6382命令行:

redis-cli -p 6381
SLAVEOF 127.0.0.1 6380

redis-cli -p 6382
SLAVEOF 127.0.0.1 6380

3、查詢主從狀態

從庫:
127.0.0.1:6382> info replication

主庫:
127.0.0.1:6380> info replication

主庫故障模擬及切換(failover過程):

4、從庫切爲主庫

模擬主庫故障

redis-cli -p 6380
shutdown

redis-cli -p 6381
info replication
slaveof no one

6382連接到6381:
[root@db03 ~]# redis-cli -p 6382
127.0.0.1:6382> SLAVEOF no one
127.0.0.1:6382> SLAVEOF 127.0.0.1 6381

redis-sentinel(哨兵)

Redis從零到cluster集羣實踐詳解

sentinel的作用:

1、監控(不斷檢查主、從服務器是否正常),提醒(通過api發送通知信息)
2、自動選主,切換(6381 slaveof no one)
3、2號從庫(6382)指向新主庫(6381)

工作原理:

通過用戶給定的配置文件來發現主服務器,sentinel本身可以有多個管理節點,用於Redis節點故障後 判斷是否真實故障,通過Raf協議選舉判斷,半數以上投票主節點失敗則確認主節點故障,選舉一個新主庫。如果節點恢復了,會把它作爲一個從節點的角色加入集羣。

Redis從零到cluster集羣實踐詳解

sentinel搭建過程

sentinel集羣開始下面的操作,需要保證已經實現了redis的主從複製環境。

mkdir /data/26380
cd /data/26380

vim sentinel.conf
port 26380
dir "/data/26380"

#127.0.0.1 6380是集羣裏面主從複製的主節點,由於是單機,所以sentinel 爲1就可以判斷爲故障發生了
sentinel monitor mymaster 127.0.0.1 6380 1

#sentinel如果5s還聯繫不上主節點,則表示故障
sentinel down-after-milliseconds mymaster 5000

啓動:
redis-sentinel /data/26380/sentinel.conf &

停主庫測試:

[root@db01 ~]# redis-cli -p 6380
shutdown

[root@db01 ~]# redis-cli -p 6381
info replication

啓動源主庫(6380),看狀態。


redis cluster (redis集羣)

Redis從零到cluster集羣實踐詳解

redis cluster 功能之 高性能

基於KEY進行數據拆分

1、在多分片節點中,將16384個槽位,均勻分佈到多個分片節點中
2、存數據時,將key做crc16(key),然後和16384進行取模,得出槽位值(0-16383之間)
3、根據計算得出的槽位值,找到相對應的分片節點的主節點,存儲到相應槽位上
4、如果客戶端當時連接的節點不是將來要存儲的分片節點,分片集羣會將客戶端連接切換至真正存儲節點進行數據存儲

redis cluster 功能之 高可用
在搭建集羣時,會爲每一個分片的主節點,對應一個從節點,實現slaveof的功能,同時當主節點down,實現類似於sentinel的自動failover的功能。

規劃、搭建過程

6個redis實例,一般會放到3臺硬件服務器
注:在企業規劃中,一個分片的兩個節點,分到不同的物理機,防止硬件主機宕機造成的整個分片數據丟失。

端口號:7000-7005

1、安裝集羣插件

EPEL源安裝ruby支持
yum install ruby rubygems -y

使用國內源
gem sources -l
gem sources -a http://mirrors.aliyun.com/rubygems/ 
gem sources  --remove http://rubygems.org/
gem install redis -v 3.3.3
gem sources -l

或者:
gem sources -a http://mirrors.aliyun.com/rubygems/  --remove http://rubygems.org/ 

2、集羣節點準備

mkdir /data/700{0..5}

vim /data/7000/redis.conf
port 7000
daemonize yes
pidfile /data/7000/redis.pid
loglevel notice
logfile "/data/7000/redis.log"
dbfilename dump.rdb
dir /data/7000
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

vim /data/7001/redis.conf
port 7001
daemonize yes
pidfile /data/7001/redis.pid
loglevel notice
logfile "/data/7001/redis.log"
dbfilename dump.rdb
dir /data/7001
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

vim /data/7002/redis.conf
port 7002
daemonize yes
pidfile /data/7002/redis.pid
loglevel notice
logfile "/data/7002/redis.log"
dbfilename dump.rdb
dir /data/7002
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

vim /data/7003/redis.conf
port 7003
daemonize yes
pidfile /data/7003/redis.pid
loglevel notice
logfile "/data/7003/redis.log"
dbfilename dump.rdb
dir /data/7003
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

vim /data/7004/redis.conf
port 7004
daemonize yes
pidfile /data/7004/redis.pid
loglevel notice
logfile "/data/7004/redis.log"
dbfilename dump.rdb
dir /data/7004
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

vim /data/7005/redis.conf
port 7005
daemonize yes
pidfile /data/7005/redis.pid
loglevel notice
logfile "/data/7005/redis.log"
dbfilename dump.rdb
dir /data/7005
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

啓動節點:

redis-server /data/7000/redis.conf 
redis-server /data/7001/redis.conf 
redis-server /data/7002/redis.conf 
redis-server /data/7003/redis.conf 
redis-server /data/7004/redis.conf 
redis-server /data/7005/redis.conf 
[root@db01 ~]# ps -ef |grep redis
root       8854      1  0 03:56 ?        00:00:00 redis-server *:7000 [cluster]     
root       8858      1  0 03:56 ?        00:00:00 redis-server *:7001 [cluster]     
root       8860      1  0 03:56 ?        00:00:00 redis-server *:7002 [cluster]     
root       8864      1  0 03:56 ?        00:00:00 redis-server *:7003 [cluster]     
root       8866      1  0 03:56 ?        00:00:00 redis-server *:7004 [cluster]     
root       8874      1  0 03:56 ?        00:00:00 redis-server *:7005 [cluster]  

3、將節點加入集羣管理

通過redis-trib.rb 命令創建集羣,每個分片主節點保留一份副本(一個副本就夠了,多了也浪費,集羣沒有自帶讀寫分離機制),自動選擇前三個爲主節點,後三個爲按照順序對應從節點。主從節點不要放到一個機器上面,以免宕機導致數據丟失。

redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 \
127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

Redis從零到cluster集羣實踐詳解

4、集羣狀態查看

集羣主節點狀態
redis-cli -p 7000 cluster nodes | grep master

集羣從節點狀態
redis-cli -p 7000 cluster nodes | grep slave

Redis從零到cluster集羣實踐詳解


5、集羣節點管理

5.1 增加新的節點(新的分片也需要有主從節點)

需要做的操作:讓集羣認識這個新節點,再把已有的槽位重新劃分,劃撥一些槽位分配給新節點。

mkdir /data/7006
mkdir /data/7007

vim /data/7006/redis.conf
port 7006
daemonize yes
pidfile /data/7006/redis.pid
loglevel notice
logfile "/data/7006/redis.log"
dbfilename dump.rdb
dir /data/7006
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

vim /data/7007/redis.conf
port 7007
daemonize yes
pidfile /data/7007/redis.pid
loglevel notice
logfile "/data/7007/redis.log"
dbfilename dump.rdb
dir /data/7007
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

redis-server /data/7006/redis.conf 
redis-server /data/7007/redis.conf 

5.2 添加主節點:(把7006添加到7000所在的集羣裏面)

redis-trib.rb add-node 127.0.0.1:7006 127.0.0.1:7000

Redis從零到cluster集羣實踐詳解

5.3 轉移slot(重新分片)

redis-trib.rb reshard 127.0.0.1:7000

會進入交互式的輸入窗口,大概意思是你想要移動多少槽位給哪個節點,從哪裏劃撥資源(一般填入all)
然後就會開始均一部分slot給新節點,需要花費一些時間。

5.4 添加從節點

# 7007代表了master-id這個的從節點,7000代表在這個集羣中
redis-trib.rb add-node --slave --master-id bff7d6e603578033f53865de3e55fb2b8c526b60 127.0.0.1:7007 127.0.0.1:7000

6.刪除節點

6.1 將需要刪除節點slot移動走,但是隻能移動其餘的一個分片上,導致數據分佈不均衡

redis-trib.rb reshard 127.0.0.1:7000
交互式輸入時done表示完成,沒其他的了

刪除一個節點
刪除master節點之前首先要使用reshard移除master的全部slot,然後再刪除當前節點

主節點刪除:
redis-trib.rb del-node 127.0.0.1:7006 bff7d6e603578033f53865de3e55fb2b8c526b60

從節點刪除:
redis-trib.rb del-node 127.0.0.1:7007 2af3da4252ad1a7334d476e1b56498b85a1b488c

redis redis-trib.rb工具的使用

1、create:創建集羣
2、check:檢查集羣
3、info:查看集羣信息
4、fix:修復集羣
5、reshard:在線遷移slot
6、rebalance:平衡集羣節點slot數量
7、add-node:將新節點加入集羣
8、del-node:從集羣中刪除節點
9、set-timeout:設置集羣節點間心跳連接的超時時間
10、call:在集羣全部節點上執行命令
11、import:將外部redis數據導入集羣

redis的多API支持----python爲例

 tar xf Python-3.5.2.tar.xz 
cd  Python-3.5.2
./configure
make && make install

https://redis.io/clients 下載 redis-py-master.zip

unzip redis-py-master.zip
cd redis-py-master
python3 setup.py install

安裝redis-cluser的客戶端程序

cd redis-py-cluster-unstable
python3 setup.py install

1、對redis的單實例進行連接操作

python3
>>>import redis
>>>r = redis.StrictRedis(host='localhost', port=6379, db=0,password='root')
>>>r.set('lufei', 'guojialei')
True
>>>r.get('lufei')
'bar'

2、sentinel集羣連接並操作

[root@db01 ~]# redis-server /data/6380/redis.conf
[root@db01 ~]# redis-server /data/6381/redis.conf
[root@db01 ~]# redis-server /data/6382/redis.conf 
[root@db01 ~]# redis-sentinel /data/26380/sentinel.conf &

導入redis sentinel包

>>> from redis.sentinel import Sentinel  
##指定sentinel的地址和端口號
>>> sentinel = Sentinel([('localhost', 26380)], socket_timeout=0.1)  
##測試,獲取以下主庫和從庫的信息
>>> sentinel.discover_master('mymaster')  
>>> sentinel.discover_slaves('mymaster')  
##配置讀寫分離
#寫節點
>>> master = sentinel.master_for('mymaster', socket_timeout=0.1)  
#讀節點
>>> slave = sentinel.slave_for('mymaster', socket_timeout=0.1)  
###讀寫分離測試   key     
>>> master.set('oldboy', '123')  
>>> slave.get('oldboy')  
'123'

讀寫分離需要在代碼裏面操作,官方沒有提供讀寫分離方案。

redis cluster的連接並操作(python2.7.2以上版本才支持redis cluster,我們選擇的是3.5)
https://github.com/Grokzen/redis-py-cluster

3、python連接rediscluster集羣測試
使用

python3
>>> from rediscluster import StrictRedisCluster  
>>> startup_nodes = [{"host": "127.0.0.1", "port": "7000"}]  
### Note: decode_responses must be set to True when used with python3  
>>> rc = StrictRedisCluster(startup_nodes=startup_nodes, decode_responses=True)  
>>> rc.set("foo", "bar")  
True  
>>>   
'bar'

在集羣裏面執行命令的兩種情況

命令發送到了正確的節點:
命令要處理的鍵所在的槽正好是由接收命令的節點負責,那麼該節點執行命令,就像單機 Redis 服務器一樣。

命令發送到了錯誤的節點:
接收到命令的節點並非處理鍵所在槽的節點,那麼節點將向客戶端返回一個轉向(redirection)錯誤,告知客戶端應該到哪個節點去執行這個命令,客戶端會根據錯誤提示的信息,重新向正確的節點發送命令。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章