Keepalived原理與實戰精講

原創 yczz 2018-08-22 00:47
什麼是Keepalived呢，keepalived觀其名可知，保持存活，在網絡裏面就是保持在線了，也就是所謂的高可用或熱備，用來防止單點故障(單點故障是指一旦某一點出現故障就會導致整個系統架構的不可用)的發生，那說到keepalived時不得不說的一個協議就是VRRP協議，可以說這個協議就是keepalived實現的基礎，那麼首先我們來看看VRRP協議

注：搞運維的要有足夠的耐心哦，不理解協議就很難透徹的掌握keepalived的了

一，VRRP協議
VRRP協議
學過網絡的朋友都知道，網絡在設計的時候必須考慮到冗餘容災，包括線路冗餘，設備冗餘等，防止網絡存在單點故障，那在路由器或三層交換機處實現冗餘就顯得尤爲重要，在網絡裏面有個協議就是來做這事的，這個協議就是VRRP協議，Keepalived就是巧用VRRP協議來實現高可用性(HA)的

VRRP協議有一篇文章寫的非常好，大家可以直接看這裏(記得認真看看哦，後面基本都已這個爲基礎的了)
帖子地址：http://bbs.ywlm.net/thread-790-1-1.html
只需要把服務器當作路由器即可！

在《VRRP協議》裏講到了虛擬路由器的ID也就是VRID在這裏比較重要

keepalived完全遵守VRRP協議，包括競選機制等等

二，Keepalived原理

Keepalived原理
keepalived也是模塊化設計，不同模塊複雜不同的功能，下面是keepalived的組件
core check vrrp libipfwc libipvs-2.4 libipvs-2.6

core：是keepalived的核心，複雜主進程的啓動和維護，全局配置文件的加載解析等
check：負責healthchecker(健康檢查)，包括了各種健康檢查方式，以及對應的配置的解析包括LVS的配置解析
vrrp：VRRPD子進程，VRRPD子進程就是來實現VRRP協議的
libipfwc：iptables(ipchains)庫，配置LVS會用到
libipvs*：配置LVS會用到
注意，keepalived和LVS完全是兩碼事，只不過他們各負其責相互配合而已

 

keepalived啓動後會有三個進程
父進程：內存管理，子進程管理等等
子進程：VRRP子進程
子進程：healthchecker子進程

有圖可知，兩個子進程都被系統WatchDog看管，兩個子進程各自複雜自己的事，healthchecker子進程複雜檢查各自服務器的健康程度，例如HTTP，LVS等等，如果healthchecker子進程檢查到MASTER上服務不可用了，就會通知本機上的兄弟VRRP子進程，讓他刪除通告，並且去掉虛擬IP，轉換爲BACKUP狀態

三，Keepalived配置文件詳解


keepalived配置詳解
keepalived有三類配置區域(姑且就叫區域吧)，注意不是三種配置文件，是一個配置文件裏面三種不同類別的配置區域

全局配置(Global Configuration)
VRRPD配置
LVS配置

一，全局配置
全局配置又包括兩個子配置：
全局定義(global definition)
靜態路由配置(static ipaddress/routes)

1，全局定義(global definition)配置範例
  1. global_defs
  2. {
  3. notification_email
  4. {
  5. [email protected]
  6. }
  7. notification_email_from [email protected]
  8. smtp_server 127.0.0.1
  9. stmp_connect_timeout 30
  10. router_id node1
  11. }
複製代碼
全局配置解析
global_defs全局配置標識，表面這個區域{}是全局配置
  1. notification_email

  3. {

  5. [email protected]
  6. [email protected]

  8. }
複製代碼
表示keepalived在發生諸如切換操作時需要發送email通知，以及email發送給哪些郵件地址，郵件地址可以多個，每行一個

notification_email_from [email protected]
表示發送通知郵件時郵件源地址是誰

smtp_server 127.0.0.1
表示發送email時使用的smtp服務器地址，這裏可以用本地的sendmail來實現

smtp_connect_timeout 30
連接smtp連接超時時間

router_id node1
機器標識

2，靜態地址和路由配置範例
  1. static_ipaddress
  2. {
  3. 192.168.1.1/24 brd + dev eth0 scope global
  4. 192.168.1.2/24 brd + dev eth1 scope global
  5. }
  6. static_routes
  7. {
  8. src $SRC_IP to $DST_IP dev $SRC_DEVICE
  9. src $SRC_IP to $DST_IP via $GW dev $SRC_DEVICE
  10. }
複製代碼

這裏實際上和系統裏面命令配置IP地址和路由一樣例如：
192.168.1.1/24 brd + dev eth0 scope global 相當於: ip addr add 192.168.1.1/24 brd + dev eth0 scope global
就是給eth0配置IP地址
路由同理
一般這個區域不需要配置
這裏實際上就是給服務器配置真實的IP地址和路由的，在複雜的環境下可能需要配置，一般不會用這個來配置，我們可以直接用vi /etc/sysconfig/network-script/ifcfg-eth1來配置，切記這裏可不是VIP哦，不要搞混淆了，切記切記！

二，VRRPD配置
VRRPD配置包括三個類
VRRP同步組(synchroization group)
VRRP實例(VRRP Instance)VRRP腳本

1，VRRP同步組(synchroization group)配置範例
  1. vrrp_sync_group VG_1 {
  2. group {
  3. http
  4. mysql
  5. }
  6. notify_master /path/to/to_master.sh
  7. notify_backup /path_to/to_backup.sh
  8. notify_fault "/path/fault.sh VG_1"
  9. notify /path/to/notify.sh
  10. smtp_alert
  11. }
複製代碼
其中：
  1. group {
  2. http
  3. mysql
  4. }
複製代碼
http和mysql是實例名和下面的實例名一致

  1. notify_master /path/to/to_master.sh：表示當切換到master狀態時，要執行的腳本

  3. notify_backup /path_to/to_backup.sh：表示當切換到backup狀態時，要執行的腳本

  5. notify_fault "/path/fault.sh VG_1"
複製代碼
notify /path/to/notify.sh：

smtp alter表示切換時給global defs中定義的郵件地址發送右鍵通知

2，VRRP實例(instance)配置範例
  1. vrrp_instance http {
  2. state MASTER
  3. interface eth0
  4. dont_track_primary
  5. track_interface {
  6. eth0
  7. eth1
  8. }
  9. mcast_src_ip <IPADDR>
  10. garp_master_delay 10
  11. virtual_router_id 51
  12. priority 100
  13. advert_int 1
  14. authentication {
  15. auth_type PASS
  16. autp_pass 1234
  17. }
  18. virtual_ipaddress {
  19. #<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPT> label <LABEL>
  20. 192.168.200.17/24 dev eth1
  21. 192.168.200.18/24 dev eth2 label eth2:1
  22. }
  23. virtual_routes {
  24. # src <IPADDR> [to] <IPADDR>/<MASK> via|gw <IPADDR> dev <STRING> scope <SCOPE> tab
  25. src 192.168.100.1 to 192.168.109.0/24 via 192.168.200.254 dev eth1
  26. 192.168.110.0/24 via 192.168.200.254 dev eth1
  27. 192.168.111.0/24 dev eth2
  28. 192.168.112.0/24 via 192.168.100.254
  29. }
  30. nopreempt
  31. preemtp_delay 300
  32. debug
  33. }
複製代碼

state：state指定instance(Initial)的初始狀態，就是說在配置好後，這臺服務器的初始狀態就是這裏指定的，但這裏指定的不算，還是得要通過競選通過優先級來確定，裏如果這裏設置爲master，但如若他的優先級不及另外一臺，那麼這臺在發送通告時，會發送自己的優先級，另外一臺發現優先級不如自己的高，那麼他會就回搶佔爲master

interface：實例綁定的網卡，因爲在配置虛擬IP的時候必須是在已有的網卡上添加的

dont track primary：忽略VRRP的interface錯誤

track interface：跟蹤接口，設置額外的監控，裏面任意一塊網卡出現問題，都會進入故障(FAULT)狀態，例如，用nginx做均衡器的時候，內網必須正常工作，如果內網出問題了，這個均衡器也就無法運作了，所以必須對內外網同時做健康檢查

mcast src ip：發送多播數據包時的源IP地址，這裏注意了，這裏實際上就是在那個地址上發送VRRP通告，這個非常重要，一定要選擇穩定的網卡端口來發送，這裏相當於heartbeat的心跳端口，如果沒有設置那麼就用默認的綁定的網卡的IP，也就是interface指定的IP地址

garp master delay：在切換到master狀態後，延遲進行免費的ARP(gratuitous ARP)請求

virtual router id：這裏設置VRID，這裏非常重要，相同的VRID爲一個組，他將決定多播的MAC地址

priority 100：設置本節點的優先級，優先級高的爲master

advert int：檢查間隔，默認爲1秒

virtual ipaddress：這裏設置的就是VIP，也就是虛擬IP地址，他隨着state的變化而增加刪除，當state爲master的時候就添加，當state爲backup的時候刪除，這裏主要是有優先級來決定的，和state設置的值沒有多大關係，這裏可以設置多個IP地址

virtual routes：原理和virtual ipaddress一樣，只不過這裏是增加和刪除路由

lvs sync daemon interface：lvs syncd綁定的網卡

authentication：這裏設置認證

auth type：認證方式，可以是PASS或AH兩種認證方式

auth pass：認證密碼

nopreempt：設置不搶佔，這裏只能設置在state爲backup的節點上，而且這個節點的優先級必須別另外的高

preempt delay：搶佔延遲

debug：debug級別

notify master：和sync group這裏設置的含義一樣，可以單獨設置，例如不同的實例通知不同的管理人員，http實例發給網站管理員，mysql的就發郵件給DBA

3，VRRP腳本
  1. vrrp_script check_running {
  2.    script "/usr/local/bin/check_running"
  3.    interval 10
  4.    weight 10
  5. }

  7. vrrp_instance http {
  8.    state BACKUP
  9.    smtp_alert
  10.    interface eth0
  11.    virtual_router_id 101
  12.    priority 90
  13.    advert_int 3
  14.    authentication {
  15.    auth_type PASS
  16.    auth_pass whatever
  17.    }
  18.    virtual_ipaddress {
  19.    1.1.1.1
  20.    }
  21.    track_script {
  22.    check_running weight 20
  23.    }
  24. }
複製代碼

首先在vrrp_script區域定義腳本名字和腳本執行的間隔和腳本執行的優先級變更
vrrp_script check_running {
script "/usr/local/bin/check_running"
interval 10     #腳本執行間隔
weight 10      #腳本結果導致的優先級變更：10表示優先級+10；-10則表示優先級-10
}
然後在實例(vrrp_instance)裏面引用，有點類似腳本里面的函數引用一樣：先定義，後引用函數名
track_script {
check_running weight 20
}

注意：VRRP腳本(vrrp_script)和VRRP實例(vrrp_instance)屬於同一個級別
LVS配置

如果你沒有配置LVS+keepalived那麼無需配置這段區域，裏如果你用的是nginx來代替LVS，這無限配置這款，這裏的LVS配置是專門爲keepalived+LVS集成準備的。
注意了，這裏LVS配置並不是指真的安裝LVS然後用ipvsadm來配置他，而是用keepalived的配置文件來代替ipvsadm來配置LVS，這樣會方便很多，一個配置文件搞定這些，維護方便，配置方便是也！

這裏LVS配置也有兩個配置
一個是虛擬主機組配置
一個是虛擬主機配置

1，虛擬主機組配置文件詳解
這個配置是可選的，根據需求來配置吧，這裏配置主要是爲了讓一臺realserver上的某個服務可以屬於多個Virtual Server，並且只做一次健康檢查

virtual_server_group <STRING> {
# VIP port
<IPADDR> <PORT>
<IPADDR> <PORT>
fwmark <INT>
}

2，虛擬主機配置

virtual server可以以下面三種的任意一種來配置
  1. 1. virtual server IP port
  2. 2. virtual server fwmark int
  3. 3. virtual server group string
複製代碼
下面以第一種比較常用的方式來配詳細解說一下

virtual_server 192.168.1.2 80 {                     #設置一個virtual server: VIP:Vport
delay_loop 3                                                  # service polling的delay時間，即服務輪詢的時間間隔

lb_algo rr|wrr|lc|wlc|lblc|sh|dh                        #LVS調度算法
lb_kind NAT|DR|TUN                                      #LVS集羣模式                      
persistence_timeout 120                                #會話保持時間（秒爲單位），即以用戶在120秒內被分配到同一個後端realserver
persistence_granularity <NETMASK>              #LVS會話保持粒度，ipvsadm中的-M參數，默認是0xffffffff，即每個客戶端都做會話保持
protocol TCP                                                  #健康檢查用的是TCP還是UDP
ha_suspend                                                   #suspendhealthchecker’s activity
virtualhost <string>                                       #HTTP_GET做健康檢查時，檢查的web服務器的虛擬主機（即host：頭）

sorry_server <IPADDR> <PORT>                 #備用機，就是當所有後端realserver節點都不可用時，就用這裏設置的，也就是臨時把所有的請求都發送到這裏啦

real_server <IPADDR> <PORT>                    #後端真實節點主機的權重等設置，主要，後端有幾臺這裏就要設置幾個
{
weight 1                                                         #給每臺的權重，0表示失效(不知給他轉發請求知道他恢復正常)，默認是1
inhibit_on_failure                                            #表示在節點失敗後，把他權重設置成0，而不是衝IPVS中刪除

notify_up <STRING> | <QUOTED-STRING>  #檢查服務器正常(UP)後，要執行的腳本
notify_down <STRING> | <QUOTED-STRING> #檢查服務器失敗(down)後，要執行的腳本

HTTP_GET                                                     #健康檢查方式
{
url {                                                                #要堅持的URL，可以有多個
path /                                                             #具體路徑
digest <STRING>                                            
status_code 200                                            #返回狀態碼
}
connect_port 80                                            #監控檢查的端口

bindto <IPADD>                                             #健康檢查的IP地址
connect_timeout   3                                       #連接超時時間
nb_get_retry 3                                               #重連次數
delay_before_retry 2                                      #重連間隔
} # END OF HTTP_GET|SSL_GET


#下面是常用的健康檢查方式，健康檢查方式一共有HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK這些
#TCP方式
TCP_CHECK {
connect_port 80
bindto 192.168.1.1
connect_timeout 4
} # TCP_CHECK

# SMTP方式，這個可以用來給郵件服務器做集羣
SMTP_CHECK
host {
connect_ip <IP ADDRESS>
connect_port <PORT>                                     #默認檢查25端口
14 KEEPALIVED
bindto <IP ADDRESS>
}
connect_timeout <INTEGER>
retry <INTEGER>
delay_before_retry <INTEGER>
# "smtp HELO"ž|·-ë꧌à"
helo_name <STRING>|<QUOTED-STRING>
} #SMTP_CHECK

#MISC方式，這個可以用來檢查很多服務器只需要自己會些腳本即可
MISC_CHECK
{
misc_path <STRING>|<QUOTED-STRING> #外部程序或腳本
misc_timeout <INT>                                    #腳本或程序執行超時時間

misc_dynamic                                               #這個就很好用了，可以非常精確的來調整權重，是後端每天服務器的壓力都能均衡調配，這個主要是通過執行的程序或腳本返回的狀態代碼來動態調整weight值，使權重根據真實的後端壓力來適當調整，不過這需要有過硬的腳本功夫才行哦
#返回0：健康檢查沒問題，不修改權重
#返回1：健康檢查失敗，權重設置爲0
#返回2-255：健康檢查沒問題，但是權重卻要根據返回代碼修改爲返回碼-2，例如如果程序或腳本執行後返回的代碼爲200，#那麼權重這回被修改爲 200-2
}
} # Realserver
} # Virtual Server

配置文件到此就講完了，下面是一份未加備註的完整配置文件
  1. global_defs
  2. {
  3. notification_email
  4. {
  5. [email protected]
  6. }
  7. notification_email_from [email protected]
  8. smtp_server 127.0.0.1
  9. stmp_connect_timeout 30
  10. router_id node1
  11. }
  12. notification_email
  13. {
  14. [email protected]
  15. [email protected]
  16. }

  18. static_ipaddress
  19. {
  20. 192.168.1.1/24 brd + dev eth0 scope global
  21. 192.168.1.2/24 brd + dev eth1 scope global
  22. }
  23. static_routes
  24. {
  25. src $SRC_IP to $DST_IP dev $SRC_DEVICE
  26. src $SRC_IP to $DST_IP via $GW dev $SRC_DEVICE
  27. }

  29. vrrp_sync_group VG_1 {
  30. group {
  31. http
  32. mysql
  33. }
  34. notify_master /path/to/to_master.sh
  35. notify_backup /path_to/to_backup.sh
  36. notify_fault "/path/fault.sh VG_1"
  37. notify /path/to/notify.sh
  38. smtp_alert
  39. }
  40. group {
  41. http
  42. mysql
  43. }


  46. vrrp_script check_running {
  47.    script "/usr/local/bin/check_running"
  48.    interval 10
  49.    weight 10
  50. }


  53. vrrp_instance http {
  54. state MASTER
  55. interface eth0
  56. dont_track_primary
  57. track_interface {
  58. eth0
  59. eth1
  60. }
  61. mcast_src_ip <IPADDR>
  62. garp_master_delay 10
  63. virtual_router_id 51
  64. priority 100
  65. advert_int 1
  66. authentication {
  67. auth_type PASS
  68. autp_pass 1234
  69. }
  70. virtual_ipaddress {
  71. #<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPT> label <LABEL>
  72. 192.168.200.17/24 dev eth1
  73. 192.168.200.18/24 dev eth2 label eth2:1
  74. }
  75. virtual_routes {
  76. # src <IPADDR> [to] <IPADDR>/<MASK> via|gw <IPADDR> dev <STRING> scope <SCOPE> tab
  77. src 192.168.100.1 to 192.168.109.0/24 via 192.168.200.254 dev eth1
  78. 192.168.110.0/24 via 192.168.200.254 dev eth1
  79. 192.168.111.0/24 dev eth2
  80. 192.168.112.0/24 via 192.168.100.254
  81. }
  82. track_script {
  83. check_running weight 20
  84. }

  86. nopreempt
  87. preemtp_delay 300
  88. debug
  89. }

  91. virtual_server_group <STRING> {
  92. # VIP port
  93. <IPADDR> <PORT>
  94. <IPADDR> <PORT>
  95. fwmark <INT>
  96. }

  98. virtual_server 192.168.1.2 80 {
  99. delay_loop 3

  101. lb_algo rr|wrr|lc|wlc|lblc|sh|dh
  102. lb_kind NAT|DR|TUN
  103. persistence_timeout 120
  104. persistence_granularity <NETMASK>
  105. protocol TCP
  106. ha_suspend
  107. virtualhost <string>

  109. sorry_server <IPADDR> <PORT>

  111. real_server <IPADDR> <PORT>
  112. {
  113. weight 1
  114. inhibit_on_failure 
  115. notify_up <STRING> | <QUOTED-STRING>
  116. notify_down <STRING> | <QUOTED-STRING>

  118. #HTTP_GET方式
  119. HTTP_GET | SSL_GET
  120. {
  121. url { 
  122. path / 
  123. digest <STRING>                                            
  124. status_code 200
  125. }
  126. connect_port 80 

  128. bindto <IPADD>
  129. connect_timeout   3
  130. nb_get_retry 3
  131. delay_before_retry 2
  132. } 
  133. }
  134. }
複製代碼
注意，這裏僅僅是羅列，並不是可用的配置文件。裏面需要根據自己的時間情況稍加配置才能用
在下面我會根據實際的需求給出我平時的配置案例，在二樓三樓四樓分別給出三個案例
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

陽痿治療能好嗎？有什麽好的治療方法

SteveSapp9 2022-06-28 16:18:28

立陶宛指責俄羅斯撒謊， 稱加裏甯格勒州被封鎖

SteveSapp9 2022-06-23 11:50:21

Explosion rocks Sikh temple in Kabul

zaidan54 2022-06-18 14:37:46

Soldier shot dead amid DR Congo

zaidan54 2022-06-18 02:09:57

Protests over India contract soldiers plan intensify

zaidan54 2022-06-17 19:55:33

Hundreds of Ukrainians stuck in Scottish hotels

zaidan54 2022-06-17 02:19:15

Big Data Analytics in Retail Market to Experience Significant Growth by 2030

chhidami.a.msg 2022-06-16 21:22:30

Surgical Instrument Tracking Devices Market Expected Forecast 2022-2030

chhidami.a.msg 2022-06-15 20:28:30

Huge methane emission from Russian coal mine

zaidan54 2022-06-15 20:15:04

#骨感甜美 台中林酒店約/妹打 /炮 西屯區台中之星叫妹服務LINE：yy5233

yajing233 2022-06-15 15:31:30

曼聯即將完成從巴塞羅那的弗蘭基·德容的轉會

samaranina 2022-06-15 03:56:09

French city challenges ban on burkini in top court

zaidan54 2022-06-14 19:49:14

Police deny bodies found in Amazon search

zaidan54 2022-06-14 02:30:31

Asian stocks slide over global economy concerns

zaidan54 2022-06-13 19:41:59

Rwanda flight migrants 'close to single figures'

zaidan54 2022-06-13 15:06:51