【數據庫】Redis(6)--Redis主從複製

1.1.Redis主從複製概念

概念

主從複製,是指將一臺Redis服務器的數據,複製到其它的Redis服務器,前者稱爲主節點(master/leader),後者稱爲從節點(slave/follower);數據的複製是單向的,只能由主節點到從節點。Master以寫爲主,Slave以讀爲主

默認情況下,每臺Redis服務器都是主節點;且一個主節點可以有多個從節點(或沒有從節點),但一個從節點只能有一個主節點。

主從複製的作用主要包括:

1.數據冗餘:主從複製實現了數據的熱備份,是持久化之外的一種數據冗餘方式。

2.故障恢復:當主節點出現問題時,可以由從節點提供服務,實現快速的故障恢復;實際上是一種服務的冗餘。

3.負載均衡:在主從複製的基礎上,配合讀寫分離,可以由主節點提供寫服務,由從節點提供讀服務(即寫Redis數據時應用連接主節點,讀Redis數據時應用連接從節點),分擔服務器負載;尤其是在寫少讀多的場景下,通過多個節點分擔讀寫負載,可以大大提高Redis服務器的併發量。

4.高可用基石:除了上述作用以外,主從複製還是哨兵和集羣能夠實施的基礎,因此說主從複製是Redis高可用的基礎。

 

一般來說,要將Redis運用於工程項目中,只使用一臺Redis是萬萬不能的,原因如下:

1.從結構上,單個Redis服務器會發生單點故障,並且一臺服務器需要處理所有的請求負載,壓力較大;

2.從容量上,單個Redis服務器內存容量有限,就算一臺Redis服務器內存容量爲256G,也不能將所有內存用作Redis存儲內存,一般來說,單臺Redis最大使用內存不應該超過20G;

 

 主從複製,讀寫分離,80%的情況下都是在進行讀操作,減緩服務器的壓力,架構中經常使用,一主二從

 

1.2.環境配置

Redis默認單機啓動之後就是master,主從複製只需要配置從庫,不用配置主庫。

127.0.0.1:6379> info replication  #查看當前庫的信息
# Replication
role:master  #顯示當前server的角色  master
connected_slaves:0  # 顯示從機的個數
master_repl_offset:0
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

這裏實際項目中都是部署在同一網段的不同服務器上,這裏只做簡單說明配置,需要在另外的服務器上去創建兩個從機Redis slave從機。具體需要修改的是redis.conf文件中的如下配置:

port 6379 #端口號
logfile "6379.log" #log日誌文件存放位置
dbfilename dump6379.rdb  #redis持久化存放目錄

其它從機的redis.conf文件配置一致即可。

 

1.3.配置一主二從

默認情況下,每臺Redis服務器都是主節點;我們一般情況下只用配置從機就可以了。

認老大,就是一臺作爲主機(79)二臺作爲從機(80/81)

具體配置如下:

127.0.0.1:6380> SLAVEOF 127.0.0.1:6379 #手動使用命令方式選擇6379作爲自己的老大
OK
127.0.0.1:6380> info relication
# Replication
role:slave  #當前角色是從機
master_host:127.0.0.1
master_port:6379
master_link_status:up
master_last_io_seconds_ago:3
master_sync_in_progress:0
slave_repl_offset:14
slave_read_only:1
connected_slaves:0

對應主機端可以看到從機的狀態如下:

 

真實的主從配置應該是在配置文件中配置,這樣的話是永久的,這裏使用slaveof命令只是暫時的。

在redis.conf文件中我們需要配置replicaof,設置masterip地址和端口號;如果主機有密碼,那麼配置matserauth 對應的密碼即可。

 

 細節

主從配置默認是主機可以寫,從機不能寫只能讀取。主機中的所有信息和數據,都會被從機保存。

即在從機中只能讀取到主機中設置的key的值,而不能進行set key值操作。

如果是使用命令行,來配置的主從,這個時候如果重啓了,就會便會主機。只要變爲從機,立馬就會從主機中獲取值。

原理

Slave啓動成功連接到master後會發送一個sync同步命令

Master接到命令,啓動後臺的存盤進程,同時收集所有收到的用於修改數據集命令,在後臺進程執行完畢之後,master將傳送整個數據文件到slave,並完成一次同步。

全量複製:slave服務在接收到數據庫文件數據後,將其存盤並加載到內存中;

增量複製:master繼續將新的所有收集到的修改命令依次傳給slave,完成同步。

但是隻要是重新連接master,一次完全同步(全量複製)將被自動執行。我們的數據一定可以在從機中看到。

手動版謀朝篡位

如果主機斷開了連接,我們可以使用SLAVE no one命令,讓自己變成主機,其它的節點就可以手動連接到最新的這個主節點(手動版)。如果這個時候老大修復了,那就重新連接。

 

1.4.Redis哨兵模式

簡單地說Redis哨兵模式,就是自動選舉老大的模式。

概述

主從切換技術的方法是:當主服務器宕機後,需要手動把一臺服務器切換爲主服務器,這就需要人工干預,費事費力,還會造成一段時間內服務不可用。這不是一種推薦的方式,更多時候,我們優先考慮哨兵模式,Redis從2.8開始正式提供了Sentinel(哨兵)架構來解決這個問題。

謀朝篡位的自動版,能夠後臺監控主機是否故障,如果故障了根據投票數自動將從庫換成主庫。

哨兵模式是一種特殊的模式,首先Redis提供了哨兵的命令,哨兵是一個獨立的進程,作爲進程,它會獨立運行,其原理是哨兵通過發送命令,等待Redis服務器響應,從而監控運行的多個Redis實例。

 

這裏哨兵有兩個作用:

  • 通過發送命令,讓Redis服務器返回監控其運行狀態,包括主服務器和從服務器。

  • 當哨兵監測到master宕機,會自動將slave切換成master,然後通過發佈訂閱模式通知其它的從服務器,修改配置文件,讓它們切換主機。

    然而一個哨兵進程對Redis服務器進行監控,可能會出現問題,爲此,我們可以使用多個哨兵進行監控。各個哨兵之前還會進行監控,這樣就形成了多哨兵模式。

 

 假設主服務器宕機,哨兵1先檢測到這個結果,系統並不會馬上進行failover過程,僅僅是哨兵1主觀的認爲主服務器不可用,這個現象稱爲主觀下線。當後面的哨兵也檢測到主服務器不可用,並且數量達到一定值時,那麼哨兵之間就會進行一次投票,投票的結果由一個哨兵發起,進行failover[故障轉移]操作。切換成功後,就會通過發佈訂閱模式,讓各個哨兵把自己監控的從服務器實現切換主機,這個過程稱爲客觀下線

 

測試

我們目前的狀態是一主二從

1.配置哨兵配置文件sentinel.conf

# sentinel monitor 被監控的名稱 host port 1
sentinel monitor myredis 127.0.0.1 6379 1

後面的數字1,代表主機掛了,slave投票看讓誰接替成爲主機,票數最多的,就會成爲主機。

2.啓動哨兵

[root@fengye bin]# redis-sentinel fconfig/sentinel.conf

如果Master節點斷開了,這個時候就會從從機中隨機選擇一個服務器(這裏面有一個投票算法)。

這裏如果主機此時回來了,只能歸併到新的主機下,當做從機。這就是哨兵模式的規則。

 

哨兵模式

優點

1.哨兵集羣,基於主從複製模式,所有的主從配置優點,它全有。

2.主從可以切換,故障可以轉移,系統的可用性就會更好。

3.哨兵模式就是主從模式的升級,手動到自動,更加健壯。

 

缺點

1.Redis不好在線擴容的,集羣容量一旦達到上限,在線擴容就十分麻煩。

2.實現哨兵模式的配置其實是很麻煩的,裏面有很多選擇。

 

1.5.哨兵模式配置

哨兵模式的全部配置

# Example sentinel.conf

# 哨兵sentinel實例運行的端口 默認26379,如果有哨兵集羣,還需要配置每個哨兵端口
port 26379

# 哨兵sentinel的工作目錄
dir /tmp

# 哨兵sentinel監控的redis主節點的 ip port
# master-name 可以自己命名的主節點名字 只能由字母A-Z、數字0-9、這三個字符".-_"組成。
# quorum配置多少個sentinel哨兵統一認爲master主節點失聯,那麼這時客觀上認爲主節點失聯了
# sentinel monitor <master-name> <ip> <redis-port> <quorum>
sentinel monitor mymaster 127.0.0.1 6379 2

# 當在Redis實例中開啓了requirepass foobared 授權密碼,這樣所有連接Redis實例的客戶端都是需要提供密碼
# 設置哨兵sentinel,連接主從的密碼,注意必須爲主從設置一樣的驗證密碼
# sentinel auth-pass <master-name> <password>
sentinel auth-pass mymaster MYSUPER--secret-0123passw0rd

# 指定多少毫秒之後,主節點沒有應答哨兵sentinel,此時,哨兵主觀上認爲主節點下線,默認30秒
# sentinel down-after-milliseconds <master-name> <milliseconds>
sentinel down-after-milliseconds mymatser 30000

# 這個配置項指定了在發生failover主備切換時最多可以有多少個slave同時對新的master進行同步
這個數字越小,完成failover所需的時間就越長,但是如果這個數字越大,越意味着越多的slave因爲replication而不可用。可以通過將這個值設爲1來保證每次只有一個slave處於不能處理命名請求的狀態。
# sentinel parallel-syncs <master-name> <numslaves>
sentinel parallel-syncs mymaster 1

# 故障轉移的超時時間,failover-timeout,可以用在以下這些方面:
# 1.同一個sentinel對同一個master兩次failover之間的間隔時間
# 2.當一個slave從一個錯誤的master那裏同步數據開始計算時間,直到slave被糾正爲向正確的master那裏同步數據時
# 3.當想要取消一個正在進行的failover所需要的時間
# 4.當進行failover時,配置所有slaves指向新的master所需的最大時間。不過,即使過了這個超時,slaves依然會被正確配置爲指向master,但是就不按parallel-syncs所配置的規則來了
# 默認三分鐘
# sentinel failover-timeout <master-name> <milliseconds>
sentinel failover-timeout mymaster 180000

# SCRIPTS EXECUTION

# 配置當某一事件發生時所需要執行的腳本,可以通過腳本來通知管理員,例如當系統運行不正常時發郵件通知相關人員。
# 對於腳本的運行結果有以下規則:
# 若腳本執行後返回1,那麼該腳本稍後將會被再次執行,重複次數目前默認爲10
# 若腳本執行後返回2,或者比2更高的一個返回值,腳本將不會重複執行
# 如果腳本在執行過程中由於收到系統中斷信號被終止了,則同返回值爲1時的行爲相同
# 一個腳本的最大執行時間爲60s,如果超過這個時間,腳本將會被一個SIGKILL信號終止,之後重新執行

1).sentinel notification-script <master-name> <script-path> 

# 通知型腳本:當sentinel有任何警告級別的事件發生時(比如說redis實例的主觀失效和客觀失效等等),將會去調用這個腳本,這時這個腳本應該通過郵件,SMS等方式去通知系統管理員關於系統不正常運行的信息。調用該腳本時,將傳給腳本兩個參數,一個是事件的類型,一個是事件的描述。如果sentinel.conf配置文件中配置了這個腳本路徑,那麼必須保證這個腳本存在於這個路徑,並且是可執行的,否則sentinel無法正常啓動成功。

# 通知腳本
# sentinel notification-script <master-name> <script-path>
sentinel notification-script mymaster /var/redis/notify.sh

# 客戶端重新配置主節點參數腳本
# 當一個master由於failover而發生改變時,這個腳本將會被調用,通知相關的客戶端關於master地址已經發生改變的信息
# 以下參數將會在調用腳本時傳給腳本:
# <master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port>
# 目前<state>總是"failover"
# <role>是"leader"或者"observer"中的一個
# 參數from-ip,from-port,to-ip,to-port是用來和舊的master和新的master(即舊的slave)通信的
# 這個腳本應該是通用的,能被多次調用的,不是針對性的
# sentinel client-reconfig-script <master-name> <script-path>
sentinel client-reconfig-script mymaster /var/redis/reconfig.sh

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章