1.1.Redis主從複製概念
概念
主從複製,是指將一臺Redis服務器的數據,複製到其它的Redis服務器,前者稱爲主節點(master/leader),後者稱爲從節點(slave/follower);數據的複製是單向的,只能由主節點到從節點。Master以寫爲主,Slave以讀爲主。
默認情況下,每臺Redis服務器都是主節點;且一個主節點可以有多個從節點(或沒有從節點),但一個從節點只能有一個主節點。
主從複製的作用主要包括:
1.數據冗餘:主從複製實現了數據的熱備份,是持久化之外的一種數據冗餘方式。
2.故障恢復:當主節點出現問題時,可以由從節點提供服務,實現快速的故障恢復;實際上是一種服務的冗餘。
3.負載均衡:在主從複製的基礎上,配合讀寫分離,可以由主節點提供寫服務,由從節點提供讀服務(即寫Redis數據時應用連接主節點,讀Redis數據時應用連接從節點),分擔服務器負載;尤其是在寫少讀多的場景下,通過多個節點分擔讀寫負載,可以大大提高Redis服務器的併發量。
4.高可用基石:除了上述作用以外,主從複製還是哨兵和集羣能夠實施的基礎,因此說主從複製是Redis高可用的基礎。
一般來說,要將Redis運用於工程項目中,只使用一臺Redis是萬萬不能的,原因如下:
1.從結構上,單個Redis服務器會發生單點故障,並且一臺服務器需要處理所有的請求負載,壓力較大;
2.從容量上,單個Redis服務器內存容量有限,就算一臺Redis服務器內存容量爲256G,也不能將所有內存用作Redis存儲內存,一般來說,單臺Redis最大使用內存不應該超過20G;
主從複製,讀寫分離,80%的情況下都是在進行讀操作,減緩服務器的壓力,架構中經常使用,一主二從。
1.2.環境配置
127.0.0.1:6379> info replication #查看當前庫的信息 # Replication role:master #顯示當前server的角色 master connected_slaves:0 # 顯示從機的個數 master_repl_offset:0 repl_backlog_active:0 repl_backlog_size:1048576 repl_backlog_first_byte_offset:0 repl_backlog_histlen:0
這裏實際項目中都是部署在同一網段的不同服務器上,這裏只做簡單說明配置,需要在另外的服務器上去創建兩個從機Redis slave從機。具體需要修改的是redis.conf文件中的如下配置:
port 6379 #端口號 logfile "6379.log" #log日誌文件存放位置 dbfilename dump6379.rdb #redis持久化存放目錄
其它從機的redis.conf文件配置一致即可。
1.3.配置一主二從
默認情況下,每臺Redis服務器都是主節點;我們一般情況下只用配置從機就可以了。
認老大,就是一臺作爲主機(79)二臺作爲從機(80/81)
127.0.0.1:6380> SLAVEOF 127.0.0.1:6379 #手動使用命令方式選擇6379作爲自己的老大 OK 127.0.0.1:6380> info relication # Replication role:slave #當前角色是從機 master_host:127.0.0.1 master_port:6379 master_link_status:up master_last_io_seconds_ago:3 master_sync_in_progress:0 slave_repl_offset:14 slave_read_only:1 connected_slaves:0
對應主機端可以看到從機的狀態如下:
在redis.conf文件中我們需要配置replicaof,設置masterip地址和端口號;如果主機有密碼,那麼配置matserauth 對應的密碼即可。
細節
主從配置默認是主機可以寫,從機不能寫只能讀取。主機中的所有信息和數據,都會被從機保存。
即在從機中只能讀取到主機中設置的key的值,而不能進行set key值操作。
如果是使用命令行,來配置的主從,這個時候如果重啓了,就會便會主機。只要變爲從機,立馬就會從主機中獲取值。
原理
Slave啓動成功連接到master後會發送一個sync同步命令
Master接到命令,啓動後臺的存盤進程,同時收集所有收到的用於修改數據集命令,在後臺進程執行完畢之後,master將傳送整個數據文件到slave,並完成一次同步。
全量複製:slave服務在接收到數據庫文件數據後,將其存盤並加載到內存中;
增量複製:master繼續將新的所有收集到的修改命令依次傳給slave,完成同步。
但是隻要是重新連接master,一次完全同步(全量複製)將被自動執行。我們的數據一定可以在從機中看到。
手動版謀朝篡位
如果主機斷開了連接,我們可以使用SLAVE no one命令,讓自己變成主機,其它的節點就可以手動連接到最新的這個主節點(手動版)。如果這個時候老大修復了,那就重新連接。
1.4.Redis哨兵模式
簡單地說Redis哨兵模式,就是自動選舉老大的模式。
概述
主從切換技術的方法是:當主服務器宕機後,需要手動把一臺服務器切換爲主服務器,這就需要人工干預,費事費力,還會造成一段時間內服務不可用。這不是一種推薦的方式,更多時候,我們優先考慮哨兵模式,Redis從2.8開始正式提供了Sentinel(哨兵)架構來解決這個問題。
謀朝篡位的自動版,能夠後臺監控主機是否故障,如果故障了根據投票數自動將從庫換成主庫。
哨兵模式是一種特殊的模式,首先Redis提供了哨兵的命令,哨兵是一個獨立的進程,作爲進程,它會獨立運行,其原理是哨兵通過發送命令,等待Redis服務器響應,從而監控運行的多個Redis實例。
這裏哨兵有兩個作用:
-
通過發送命令,讓Redis服務器返回監控其運行狀態,包括主服務器和從服務器。
-
當哨兵監測到master宕機,會自動將slave切換成master,然後通過發佈訂閱模式通知其它的從服務器,修改配置文件,讓它們切換主機。
測試
我們目前的狀態是一主二從
1.配置哨兵配置文件sentinel.conf
# sentinel monitor 被監控的名稱 host port 1 sentinel monitor myredis 127.0.0.1 6379 1
後面的數字1,代表主機掛了,slave投票看讓誰接替成爲主機,票數最多的,就會成爲主機。
2.啓動哨兵
[root@fengye bin]# redis-sentinel fconfig/sentinel.conf
如果Master節點斷開了,這個時候就會從從機中隨機選擇一個服務器(這裏面有一個投票算法)。
優點:
1.哨兵集羣,基於主從複製模式,所有的主從配置優點,它全有。
2.主從可以切換,故障可以轉移,系統的可用性就會更好。
3.哨兵模式就是主從模式的升級,手動到自動,更加健壯。
缺點:
1.Redis不好在線擴容的,集羣容量一旦達到上限,在線擴容就十分麻煩。
2.實現哨兵模式的配置其實是很麻煩的,裏面有很多選擇。
1.5.哨兵模式配置
哨兵模式的全部配置
# Example sentinel.conf # 哨兵sentinel實例運行的端口 默認26379,如果有哨兵集羣,還需要配置每個哨兵端口 port 26379 # 哨兵sentinel的工作目錄 dir /tmp # 哨兵sentinel監控的redis主節點的 ip port # master-name 可以自己命名的主節點名字 只能由字母A-Z、數字0-9、這三個字符".-_"組成。 # quorum配置多少個sentinel哨兵統一認爲master主節點失聯,那麼這時客觀上認爲主節點失聯了 # sentinel monitor <master-name> <ip> <redis-port> <quorum> sentinel monitor mymaster 127.0.0.1 6379 2 # 當在Redis實例中開啓了requirepass foobared 授權密碼,這樣所有連接Redis實例的客戶端都是需要提供密碼 # 設置哨兵sentinel,連接主從的密碼,注意必須爲主從設置一樣的驗證密碼 # sentinel auth-pass <master-name> <password> sentinel auth-pass mymaster MYSUPER--secret-0123passw0rd # 指定多少毫秒之後,主節點沒有應答哨兵sentinel,此時,哨兵主觀上認爲主節點下線,默認30秒 # sentinel down-after-milliseconds <master-name> <milliseconds> sentinel down-after-milliseconds mymatser 30000 # 這個配置項指定了在發生failover主備切換時最多可以有多少個slave同時對新的master進行同步 這個數字越小,完成failover所需的時間就越長,但是如果這個數字越大,越意味着越多的slave因爲replication而不可用。可以通過將這個值設爲1來保證每次只有一個slave處於不能處理命名請求的狀態。 # sentinel parallel-syncs <master-name> <numslaves> sentinel parallel-syncs mymaster 1 # 故障轉移的超時時間,failover-timeout,可以用在以下這些方面: # 1.同一個sentinel對同一個master兩次failover之間的間隔時間 # 2.當一個slave從一個錯誤的master那裏同步數據開始計算時間,直到slave被糾正爲向正確的master那裏同步數據時 # 3.當想要取消一個正在進行的failover所需要的時間 # 4.當進行failover時,配置所有slaves指向新的master所需的最大時間。不過,即使過了這個超時,slaves依然會被正確配置爲指向master,但是就不按parallel-syncs所配置的規則來了 # 默認三分鐘 # sentinel failover-timeout <master-name> <milliseconds> sentinel failover-timeout mymaster 180000 # SCRIPTS EXECUTION # 配置當某一事件發生時所需要執行的腳本,可以通過腳本來通知管理員,例如當系統運行不正常時發郵件通知相關人員。 # 對於腳本的運行結果有以下規則: # 若腳本執行後返回1,那麼該腳本稍後將會被再次執行,重複次數目前默認爲10 # 若腳本執行後返回2,或者比2更高的一個返回值,腳本將不會重複執行 # 如果腳本在執行過程中由於收到系統中斷信號被終止了,則同返回值爲1時的行爲相同 # 一個腳本的最大執行時間爲60s,如果超過這個時間,腳本將會被一個SIGKILL信號終止,之後重新執行 1).sentinel notification-script <master-name> <script-path> # 通知型腳本:當sentinel有任何警告級別的事件發生時(比如說redis實例的主觀失效和客觀失效等等),將會去調用這個腳本,這時這個腳本應該通過郵件,SMS等方式去通知系統管理員關於系統不正常運行的信息。調用該腳本時,將傳給腳本兩個參數,一個是事件的類型,一個是事件的描述。如果sentinel.conf配置文件中配置了這個腳本路徑,那麼必須保證這個腳本存在於這個路徑,並且是可執行的,否則sentinel無法正常啓動成功。 # 通知腳本 # sentinel notification-script <master-name> <script-path> sentinel notification-script mymaster /var/redis/notify.sh # 客戶端重新配置主節點參數腳本 # 當一個master由於failover而發生改變時,這個腳本將會被調用,通知相關的客戶端關於master地址已經發生改變的信息 # 以下參數將會在調用腳本時傳給腳本: # <master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port> # 目前<state>總是"failover" # <role>是"leader"或者"observer"中的一個 # 參數from-ip,from-port,to-ip,to-port是用來和舊的master和新的master(即舊的slave)通信的 # 這個腳本應該是通用的,能被多次調用的,不是針對性的 # sentinel client-reconfig-script <master-name> <script-path> sentinel client-reconfig-script mymaster /var/redis/reconfig.sh