部署 LVS-DR + keepalived 高可用羣集

原創 爱美的小菇凉 2020-02-21 13:17

文章目錄

一、LVS-DR模式

關於羣集的負載調度技術，可以基於IP端口，內容等進行分發，其中IP負載均衡技術是效率最高的。

在基於IP的負載均衡模式中，常見的有地址轉換，IP隧道、直接路由 這三種工作模式：

  • 直接路由；簡稱DR模式

    • 採用半開放式的網絡結構，與TUN模式的結構類似，但各節點並不是分散在各地，而是與調度器位於同一個物理網絡。
    • 負載調度器與各節點服務器通過本地網絡連接，不需要建立專用的IP隧道。
      在這裏插入圖片描述

二、LVS-DR數據包的流向分析

  • 爲方便進行原理分析，將Client與羣集機器放在同一網絡中，數據包流經的路線爲1-2-3-4。
    在這裏插入圖片描述
  • 1.Client向目標VIP發出請求，Director (負載均衡器)接收。此時IP包頭及數據幀頭信息爲：
    在這裏插入圖片描述
  • 2.Director根據負載均衡算法選擇RealServer_1，不修改也不封裝IP報文，而是將數據幀的MAC地址改爲
    RealServer_1的MAC地址，然後在局域網上發送。IP包頭及數據幀頭信息如下：
    在這裏插入圖片描述
  • 3.RealServer_1收到這個幀，解封裝後發現目標IP與本機匹配(RealServer事先綁定了VIP) ，於是處理這個報文。隨後重新封裝報文，發送到局域網。此時IP包頭及數據幀頭信息爲:
    在這裏插入圖片描述
  • 4.Client將收到回覆報文。Client認爲得到正常的服務，而不會知道是哪一臺服務器處理的。
  • 注意:如果跨網段，那麼報文通過路由器經由Internet返回給用戶

三、LVS-DR中的ARP問題

  • 對節點 web服務器進行處理，使其不響應針對VIP的ARP請求
    • 使用虛接口lo:0承載VIP地址
    • 設置內核參數arp_ ignore=1: 系統只響應目的IP爲本地IP的ARP請求。
  • 新來的請求報文，路由器根據ARP表項，會將該報文轉發給RealServer，從而導致Director的VIP失效
    • 解決方法：對節點服務器進行處理，設置內核參數arp_ announce=2： 系統不使用IP包的源地址來設置ARP請求的源地址，而選擇發送接口的IP地址。
  • 修改/etc/sysctl.conf文件
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.allarp_announce = 2

四、keepalived 軟件工具

  • LVS可以實現負載均衡，但是不能夠進行健康檢查，比如一個rs出現故障，LVS 仍然會把請求轉發給故障的rs服務器，這樣就會導致請求的無效性。

  • keepalived 軟件是專爲LVS和HA設計的一款健康檢查工具。

    • 可以進行節點健康狀態檢查。
    • 實現 LVS 的高可用性，解決 LVS 單點故障的問題。
    • 支持故障自動切換。
      在這裏插入圖片描述

  • 在LVS基礎之上實現心跳檢測、監控服務器實現故障轉移，如果服務器發生宕機的時候，可以嘗試自動重試腳本。如果多次重試還是失敗狀態，會發送郵件給運維人員。實現高可用。

五、LVS-DR的搭建

5.1、環境搭建

  • 兩臺做LVS+keepalived架構
  • 兩臺虛擬機做web服務器
服務器 IP地址 虛擬地址
LVS1 192.168.100.110 ens33:0-192.168.100.10
LVS2 192.168.100.111 ens33:0-192.168.100.10
Web1 192.168.100.201 lo:0-192.168.100.10
web2 192.168.100.202 lo:0-192.168.100.10

5.2、兩臺LVS的配置

  • 注意：這兩個LVS服務器的配置基本相同，在這裏就只演示一遍。區別之處已經標出。

1、先安裝ipvsadm和keepalived工具

yum -y install keepalived ipvsadm

2、修改內核參數文件 /etc/sysctl.conf

vim /etc/sysctl.conf
//添加：
net.ipv4.ip_forward=1
net.ipv4.conf.all.send_redirects=0
net.ipv4.conf.default.send_redirects=0
net.ipv4.conf.ens33.send_redirects=0
sysctl -p #啓動生效

在這裏插入圖片描述
在這裏插入圖片描述
3、設置虛擬地址

vim ifcfg-ens33:0
#內容全部刪除，添加以下內容：
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.100.10
NETMASK=255.255.255.0

在這裏插入圖片描述
在這裏插入圖片描述
4、編寫一個名爲dr.sh的LVS規則腳本

cd /etc/init.d/
vim dr.sh
//腳本內容：
#!/bin/bash
GW=192.168.100.1
VIP=192.168.100.10
RIP1=192.168.100.201
RIP2=192.168.100.202
case "$1" in
start)
     /sbin/ipvsadm --save > /etc/sysconfig/ipvsadm
     systemctl start ipvsadm
     /sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.255 broadcast $VIP up
     /sbin/route add -host $VIP dev ens33:0
     /sbin/ipvsadm -A -t $VIP:80 -s rr
     /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
     /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
     echo "ipvsadm starting ---- ------[ok]"
     ;;
stop)
   /sbin/ipvsadm -C
   systemctl stop ipvsadm
   ifconfig ens33:0 down
   route del $VIP
   echo "ipvsamd stoped--------------[ok]"
   ;;                                                                                    
status)
     if [ ! -e /var/lock/subsys/ipvsadm ]; then
        echo "ipvsadm stoped----------------------"
        exit 1
     else
        echo "ipvsamd Runing------------[ok]"
     fi
   ;;
*)
  echo "Usage: $0 {start I stop I status }"
  exit 1
esac
exit 0

//添加權限，注意：先不要執行腳本！！！
chmod +x dr.sh

5、把模式改爲主機模式，修改IP地址，重啓網絡

cd /etc/sysconfig/network-scripts/
vim ifcfg-ens33

//修改爲static模式，並添加以下內容：
IPADDR=192.168.100.110     //另一臺 LVS2 的IP地址爲192.168.100.111
NETMASK=255.255.255.0
GATEWAY=192.168.100.1

service network restart

在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
6、把服務都開啓，防火牆關閉

ifup ens33:0                    //開啓虛擬VIP
service dr.sh start             //開啓LVS服務
systemctl stop firewalld
setenforce 0

在這裏插入圖片描述

5.3、Web服務器的搭建

1、安裝httpd包，關閉防火牆

yum -y install httpd

systemctl stop firewalld
setenforce 0

2、添加網頁內容，用於驗證

cd /var/www/html/
echo "this is test01 web" > index.html 
  
//另一臺web服務器輸入內容：test02區分一下。
cd /var/www/html/
echo "this is test02 web" > index.html

3、設置迴環地址

cd /etc/sysconfig/network-scripts/
cp -p ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0

#內容全部刪除，添加以下內容：
DEVICE=lo:0
IPADDR=192.168.100.10
NETMASK=255.255.255.0
ONBOOT=yes

在這裏插入圖片描述
在這裏插入圖片描述
4、編寫web服務腳本

cd /etc/init.d/
vim web.sh

#!/bin/bash
VIP=192.168.100.10
case "$1" in
     start)
        ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
        /sbin/route add -host $VIP dev lo:0
        echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
        echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
        echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
        sysctl -p >/dev/null 2>&1
        echo "RealServer Start OK"
        ;;
     stop)
        ifconfig lo:0 down
        route del $VIP /dev/null 2>&1
        echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
        echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
        echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
        echo "RealServer Stopd"
        ;;
      *)
        echo "Usage: $0 {start|stop}"
        exit 1
esac
exit 0

chmod +x web.sh

5、把模式改爲主機模式，修改IP地址，重啓網絡

cd /etc/sysconfig/network-scripts/
vim ifcfg-ens33

//修改爲static模式，並添加以下內容：
IPADDR=192.168.100.201    //另一臺 web2 的IP地址爲192.168.100.202
NETMASK=255.255.255.0
GATEWAY=192.168.100.1

service network restart

在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
6、把服務都開啓

ifup lo:0                    //開啓迴環地址
service dr.sh start             //開啓 web 服務

7、在 web 服務器的瀏覽器輸入127.0.0.1驗證。
在這裏插入圖片描述
在這裏插入圖片描述

5.4、keepalived配置

1、修改 LVS1 服務器的配置文件

cd /etc/keepalived/
vim keepalived.conf
#配置文件內容
! Configuration File for keepalived

global_defs {
   notification_email {
     [email protected]
     [email protected]
     [email protected]
   }   
   notification_email_from [email protected]
   smtp_server 127.0.0.1        //第一處修改：改爲127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_01             //第二處修改：LVS2服務器修改爲02
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state MASTER     //第三處：備用服務器LVS2改爲BACKUP
    interface ens33   //第四處：改爲ens33
    virtual_router_id 10    //第五處：虛擬組，兩個LVS服務器必須一樣
    priority 100          //第六處：備用LVS2優先級小於100，設爲90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }   
    virtual_ipaddress {
        192.168.100.10         //第七處：只要虛擬IP地址
 }
}

virtual_server 192.168.100.10 80 {    //第八處：虛擬IP地址和端口
    delay_loop 6
    lb_algo rr
    lb_kind DR    //第九處：我們使用的是LVS的DR模式
    persistence_timeout 50
    protocol TCP

    real_server 192.168.100.201 80 {    //10、web1服務器節點
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.100.202 80 {   //11、web2的服務器節點
        weight 1
        TCP_CHECK {
            connect_port 80
connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

2、啓動服務，把配置文件傳給LVS2服務器

systemctl start keepalived

scp /etc/keepalived/keepalived.conf [email protected]:/etc/keepalived/

3、LVS2服務器的修改

cd /etc/keepalived/
vim keepalived.conf
//修改下圖中的幾處。
啓動服務：
systemctl start keepalived

在這裏插入圖片描述

5.5、驗證

修改win10的IP地址，並改爲主機模式。
在這裏插入圖片描述
在瀏覽器輸入192.168.100.10，訪問Apache網站。
在這裏插入圖片描述
keepalived工具可以自動故障切換，把LVS1服務器服務關閉，模擬故障，如果客戶端依舊可以和虛擬 IP地址 互通，且能夠正常訪問網站的話，就說明 LVS2 就代替 LVS1 工作了，防止單點故障的效果實現了。

ifdown ens33:0

在客戶端 ping 一下虛擬ip
在這裏插入圖片描述
再用瀏覽器訪問192.168.100.10，這時請求會被LVS2 調度到web處理。
在這裏插入圖片描述

5.4、總結

  • 我們的LVS-DR負載均衡和keepalived雙機熱備已經搭建成功。
  • 雙機熱備的故障切換是由虛擬IP地址的漂移來實現，適用於各種應用服務器。
愛美的小菇涼
發佈了72 篇原創文章 · 獲贊 32 · 訪問量 4942
私信 關注
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

rsync同步報錯：@ERROR: auth failed on module XXX

1、在Linux下使用rsync，將遠程目錄下的文件同步到本地目錄時，可能會出現以下錯誤： @ERROR: auth failed on module XXX 其中，XXX 表示你的遠程rsync服務模塊名稱。 具體看下圖： 解

爱美的小菇凉 2020-06-23 08:11:25

rsync遠程同步（rsync源服務器+inotify實時同步）

文章目錄一、rsync介紹1.1、rsync 服務的模式1.2、rsync服務原理1.3、配置rsync源思路二、搭建rsync服務2.1、建立rsync配置文件2.2、爲備份賬戶創建數據文件2.3、啓用rsync服務2.4、新建

爱美的小菇凉 2020-06-23 08:11:24

squid代理介紹----傳統代理

爱美的小菇凉 2020-03-18 22:39:41

Nginx四層、七層負載均衡區別

爱美的小菇凉 2020-03-08 12:24:47

redis配置文件的持久化（詳細對比）

爱美的小菇凉 2020-02-28 21:39:40

在centos7上部署 redis 和基本操作

爱美的小菇凉 2020-02-28 21:39:40

Tomcat與Nginx實現負載均衡羣集

爱美的小菇凉 2020-02-25 18:03:42

Tomcat 與 Nginx 實現動靜分離的詳細部署

爱美的小菇凉 2020-02-25 18:03:42

AWStats日誌分析之系統的部署

爱美的小菇凉 2020-02-21 13:17:45

搭建LMAP架構之 PHP 配置（最終篇）（代碼可直接複製）

爱美的小菇凉 2020-02-21 13:17:45

Apache之工作模式

爱美的小菇凉 2020-02-21 13:17:45

Apache深入優化----ab壓力測試

爱美的小菇凉 2020-02-21 13:17:35

Tomcat 的優化之壓測

爱美的小菇凉 2020-02-21 13:17:35

Nginx 之 Rewrite和具體場景

爱美的小菇凉 2020-02-21 13:17:35

Apache網頁優化之壓縮

爱美的小菇凉 2020-02-21 13:17:35