LVS負載均衡羣集之DR模式+keepalived羣集機構（理論+實踐篇）

LVS-DR數據包流向分析

爲方便進行原理分析，將Client與羣集機器放在同一網絡中，數據包流經的路線爲1-2-3-4
Client向目標VIP發出請求， Director (負載均衡器)接收
Director根據負載均衡算法選擇RealServer 1，不修改也不封裝IP報文，而是將數據幀的MAC地址改爲RealServer 1的MAC地址，然後在局域網上發送。
RealServer_ _1收到這個幀，解封裝後發現目標IP與本.機匹配(RealServer事先綁定了VIP)，於是處理這個報文。隨後重新封裝報文，發送到局域網。
Client將收到回覆報文。Client認爲得到正常的服務 ,而不會知道是哪一臺服務器處理的
注意:如果跨網段，那麼報文通過路由器經由Internet返回給用戶

LVS-DR中的ARP問題

在LVS-DR負載均衡集羣中，負載均衡器與節點服務器都要配置相同的VIP地址
在局域網中具有相同的IP地址，勢必會造成各服務器ARP通信的紊亂
- 當一個ARP廣播發送到LVS-DR集羣時因爲負載均衡器和節點服務器都是連接到相同的網絡上的，它們都會接收到ARP廣播
- 此時只有前端的負載均衡器進行響應，其他節點服務器不應該響應ARP廣播
對節點服務器進行處理，使其不響應針對VIP的ARP請求
- 使用虛接口lo:0承載VIP地址
- 設置內核參數arp_ ignore=1: 系統只響應目的IP爲本地IP的ARP請求
RealServer返回報文(源IP 是VIP)經路由器轉發，在重新封裝報文時,需要先獲取路由器的MAC地址
發送ARP請求時，Linux默認使用IP包的源IP地址( 即VIP)作爲ARP請求包中的源IP地址，而不使用發送接口(例如ens33) 的IP地址
路由器收到ARP請求後，將更新ARP表項
原有的VIP對應Director的MAC地址會被更新爲VIP對應RealServer的MAC地址
此時新來的請求報文，路由器根據ARP表項，會將該報文轉發給RealServer,從而導致Director的VIP失效

解決ARP的兩個問題的設置方法

修改/etc/sysctl.conf文件
- net.ipv4.conf.lo.arp_ignore = 1
- net.ipv4.conf.lo.arp_announce = 2
- net.ipv4.conf.all.arp_ignore = 1
- net.ipv4.conf.all.arp_announce = 2

Keepalived

在企業應用中，單臺服務器承擔應用存在單點故障的危險，在企業應用集羣中，存在了至少兩處單點故障危險，單點故障一旦發生，企業服務將發生中斷，造成極大的危害

Keepalived工具介紹

專爲LVS和HA設計的一-款健康檢查工具

支持故障自動切換(Failover)
支持節點健康狀態檢查(Health Checking)
官方網站: http://www.keepalived.org/

Keepalived實現原理剖析

Keepalived採用VRRP熱備份協議實現Linux服務器的多機熱備功能
VRRP，虛擬路由冗餘協議，是針對路由器的一-種備份解決方案
- 由多臺路由器組成一個熱備組，通過共用的虛擬IP地址對外提供服務
- 每個熱備組內同- -時刻只有一臺主路由器提供服務，其他路由器處於冗餘狀態
- 若當前在線的路由器失效，則其他路由器會根據設置的優先級自動接替虛擬IP地址，繼續提供服務
Keepalived master服務器的配置
Keepalived配置目錄位於F/etc/keepalived/
keepalived.conf是主配置文件
- global_ defs ...}區段指定全局參數
- vrp_ instance實例名稱{..}區段指定VRRP熱備參數
- 註釋文字以"!"符號開頭
- 目錄samples/,提供了許多配置樣例作爲參考

常用配置選項講解

router_id HA_TEST_R1: 本路由器(服務器)的名稱
vrrp_instance VI_1 :定義VRRP熱備實例
state MASTER:熱備狀態,MASTER表示主服務器
interface ens33 :承載VIP地址的物理接口
virtual_router_id 1 :虛擬路由器的ID號每個熱備組保持-致
priority 80:優先級，數值越大優先級越高
advert_int 1:通告間隔秒數(心跳頻率)
auth_type PASS:認證類型
auth_pass 123456:密碼字串
virtual_ipaddress {vip}:指定漂移地址(VIP)，可以有多個

Keepalived備份服務器的配置與master的配置有三個選項不同

router_id:設爲自有名稱
state:設爲BACKUP
priority:值低於主服務器
其他選項與master相同

負載均衡+高可用羣集

Keepalived的設計目標是構建高可用的LVS負載均衡羣集，可以調用ipvsadm工具來創建虛擬服務器、管理服務器池，而不僅僅用作雙機熱備
使用Keepalived構建LVS羣集更加簡便易用，主要優勢體現在:
- 對LVS負載調度器實現熱備切換，提高可用性
- 對服務器池中的節點進行健康檢查，自動移除失效節點，恢復後再重新加入

LVS——DR模式+keepalived羣集實踐

實驗環境

虛擬ip地址：192.168.100.10
lvs1調度服務器IP地址：192.168.100.110
lvs2調度服務器IP地址：192.168.100.111
web1服務器IP地址：192.168.100.200
web2服務器IP地址：192.168.100.222
client測試機IP地址：192.168.100.20

在lvs1調度服務器上安裝keepalived，ipvsadm服務

root@lvs1 ~]# yum install keepalived ipvsadm -y
[root@lvs1 ~]# vim /etc/sysctl.conf             //配置路由轉發功能
net.ipv4.ip_forward=1                           //路由功能
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0      //proc響應關閉重定向功能
net.ipv4.conf.ens33.send_redirects = 0
[root@lvs1 ~]# sysctl -p                     //加載生效
[root@lvs1 ~]# cd /etc/sysconfig/network-scripts/
[root@lvs1 network-scripts]# cp -p ifcfg-ens33 ifcfg-ens33:0      //複製虛擬網卡的配置文件
[root@lvs1 network-scripts]# vim ifcfg-ens33:0
DEVICE=ens33:0                                    //添加配置文件信息，原有的信息刪除
ONBOOT=yes
IPADDR=192.168.100.10
NETMASK=255.255.255.0
[root@lvs1 network-scripts]# cd /etc/init.d/            //創建腳本便於service使用
[root@lvs1 init.d]# vim dr.sh
#!/bin/bash
GW=192.168.100.1
VIP=192.168.100.10                              //虛擬ip
RIP1=192.168.100.200                           //真實web服務器ip
RIP2=192.168.100.222
case "$1" in
start)
                /sbin/ipvsadm --save > /etc/sysconfig/ipvsadm               //保存配置
                systemctl start ipvsadm                                       //啓動服務
                /sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.255 broadcast $VIP up   //設置ens33:0地址，廣播地址，子網掩碼，並開啓
                /sbin/route add -host $VIP dev ens33:0               //添加路由網段信息
                /sbin/ipvsadm -A -t $VIP:80 -s rr                    //指定虛擬服務訪問入口，指定輪詢算法
                /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g               //指定真實服務器，dr模式
                /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
                echo "ipvsadm starting --------------------[ok]"
                ;;
stop)
                /sbin/ipvsadm -C                               //清空緩存
                systemctl stop ipvsadm                        //關閉服務
                ifconfig ens33:0 down                          //關閉接口
                route del $VIP                                   //刪除路由信息
                echo "ipvsamd stoped----------------------[ok]"
                 ;;
status)
                if [ ! -e /var/lock/subsys/ipvsadm ];then                  //判斷文件存在與否決定狀態
                echo "ipvsadm stoped---------------"
                exit 1
                                else
                                echo "ipvsamd Runing ---------[ok]"
                fi
                ;;
*)
                echo "Usage: $0 {start|stop|status}"
                exit 1
esac
exit 0
[root@lvs1 init.d]# chmod +x dr.sh                                //給執行權限

修改lvs1服務器爲僅主機模式，並修改網卡配置

[root@lvs1 init.d]# vim /etc/sysconfig/network-scripts/ifcfg-ens33       //修改網卡信息
BOOTPROTO=static
IPADDR=192.168.100.110
NETMASK=255.255.255.0
GATEWAY=192.168.100.1
[root@lvs1 init.d]# service network restart                //重啓網絡服務
[root@lvs1 init.d]# ifup ens33:0                          //開啓虛擬網卡
[root@lvs1 init.d]# service dr.sh start                      //開啓lvs服務
ipvsadm starting --------------------[ok]
[root@lvs1 init.d]# systemctl stop firewalld.service              //關閉防火牆
[root@lvs1 init.d]# setenforce 0

修改lvs2調度服務器配置

[root@lvs2 ~]# yum install keepalived ipvsadm -y
[root@lvs2 ~]# vim /etc/sysctl.conf                 //配置路由轉發功能
net.ipv4.ip_forward=1                        //路由功能
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0     //proc響應關閉重定向功能
net.ipv4.conf.ens33.send_redirects = 0
[root@lvs2 ~]# sysctl -p                   //加載生效
[root@lvs2 ~]# cd /etc/sysconfig/network-scripts/
[root@lvs2 network-scripts]# cp -p ifcfg-ens33 ifcfg-ens33:0    //複製虛擬網卡的配置文件
[root@lvs2 network-scripts]# vim ifcfg-ens33:0
DEVICE=ens33:0                       //添加配置文件信息，原有的信息刪除
ONBOOT=yes
IPADDR=192.168.100.10
NETMASK=255.255.255.0
[root@lvs2 network-scripts]# cd /etc/init.d/             //創建腳本便於service使用
[root@lvs2 init.d]# vim dr.sh
#!/bin/bash
GW=192.168.100.1
VIP=192.168.100.10      //虛擬ip
RIP1=192.168.100.200          //真實web服務器ip
RIP2=192.168.100.222
case "$1" in
start)
                /sbin/ipvsadm --save > /etc/sysconfig/ipvsadm     //保存配置
                systemctl start ipvsadm             //啓動服務
                /sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.255 broadcast $VIP up   //設置ens33:0地址，廣播地址，子網掩碼，並開啓
                /sbin/route add -host $VIP dev ens33:0            //添加路由網段信息
                /sbin/ipvsadm -A -t $VIP:80 -s rr               //指定虛擬服務訪問入口，指定輪詢算法
                /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g         //指定真實服務器，dr模式
                /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
                echo "ipvsadm starting --------------------[ok]"
                ;;
stop)
                /sbin/ipvsadm -C           //清空緩存
                systemctl stop ipvsadm        //關閉服務
                ifconfig ens33:0 down          //關閉接口
                route del $VIP           //刪除路由信息
                echo "ipvsamd stoped----------------------[ok]"
                 ;;
status)
                if [ ! -e /var/lock/subsys/ipvsadm ];then        //判斷文件存在與否決定狀態
                echo "ipvsadm stoped---------------"
                exit 1
                                else
                                echo "ipvsamd Runing ---------[ok]"
                fi
                ;;
*)
                echo "Usage: $0 {start|stop|status}"
                exit 1
esac
exit 0
[root@lvs2 init.d]# chmod +x dr.sh             //給執行權限

[root@lvs2 init.d]# vim /etc/sysconfig/network-scripts/ifcfg-ens33         //修改網卡信息，切換爲僅主機模式
BOOTPROTO=static
IPADDR=192.168.100.111
NETMASK=255.255.255.0
GATEWAY=192.168.100.1
[root@lvs2 init.d]# service network restart           //重啓網絡服務
[root@lvs2 init.d]# ifup ens33:0                  //開啓虛擬網卡
[root@lvs2 init.d]# service dr.sh start              //開啓lvs服務
ipvsadm starting --------------------[ok]
[root@lvs2 init.d]# systemctl stop firewalld.service   ##關閉防火牆
[root@lvs2 init.d]# setenforce 0

配置web1節點服務器

[root@web1 ~]# yum install httpd -y         //安裝web服務
[root@web1 ~]# systemctl stop firewalld.service          //關閉防火牆
[root@web1 ~]# setenforce 0
[root@web1 ~]# echo "this is kgc web" > /var/www/html/index.html        //創建網站頁面
[root@web1 ~]# cd /etc/sysconfig/network-scripts/   
[root@web1 network-scripts]# cp -p ifcfg-lo ifcfg-lo:0          //修改迴環網卡的虛擬網卡
[root@web1 network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.100.10
NETMASK=255.255.255.0
ONBOOT=yes
[root@web1 network-scripts]# cd /etc/init.d/
[root@web1 init.d]# vim web.sh                 //編寫arp腳本
#!/bin/bash
VIP=192.168.100.10
                case "$1" in
                start)
                                ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
                                /sbin/route add -host $VIP dev lo:0
                                echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore       //arp忽略
                                echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
                                echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
                                echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
                                sysctl -p >/dev/null 2>&1
                                echo "RealServer Start OK "
                                ;;
                stop)
                                ifconfig lo:0 down
                                route del $VIP /dev/null 2>&1
                                echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore       //arp開啓
                                echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
                                echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
                                echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
                                echo "RealServer Stopd"
                                ;;
                *)
                                echo "Usage: $0 {start|stop}"
                                exit 1
                esac
                exit 0
[root@web1 init.d]# chmod +x web.sh          //給權限

配置web1網卡

[root@web1 init.d]# vim /etc/sysconfig/network-scripts/ifcfg-ens33        //修改網卡，僅主機模式
BOOTPROTO=static
IPADDR=192.168.100.200
NETMASK=255.255.255.0
GATEWAY=192.168.100.1
[root@web1 init.d]# service network restart         //重啓網絡服務
[root@web1 init.d]# service web.sh start         //啓動腳本
RealServer Start OK 
[root@web1 init.d]# systemctl start httpd.service       //開啓web服務
[root@web1 init.d]# ifup lo:0                 //開啓迴環虛擬網卡

配置web2節點服務器和web1相同的配置

[root@web2 ~]# yum install httpd -y               //安裝web服務
[root@web2 ~]# systemctl stop firewalld.service      //關閉防火牆
[root@web2 ~]# setenforce 0
[root@web2 ~]# echo "this is accp web" > /var/www/html/index.html     //創建網站頁面
[root@web2 ~]# cd /etc/sysconfig/network-scripts/   
[root@web2 network-scripts]# cp -p ifcfg-lo ifcfg-lo:0        //修改迴環網卡的虛擬網卡
[root@web2 network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.100.10
NETMASK=255.255.255.0
ONBOOT=yes
[root@web2 network-scripts]# cd /etc/init.d/
[root@web2 init.d]# vim web.sh                //編寫arp腳本
#!/bin/bash
VIP=192.168.100.10
                case "$1" in
                start)
                                ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
                                /sbin/route add -host $VIP dev lo:0
                                echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore      //arp忽略
                                echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
                                echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
                                echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
                                sysctl -p >/dev/null 2>&1
                                echo "RealServer Start OK "
                                ;;
                stop)
                                ifconfig lo:0 down
                                route del $VIP /dev/null 2>&1
                                echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore       //arp開啓
                                echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
                                echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
                                echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
                                echo "RealServer Stopd"
                                ;;
                *)
                                echo "Usage: $0 {start|stop}"
                                exit 1
                esac
                exit 0
[root@web2 init.d]# chmod +x web.sh             //給權限

配置web2網卡

[root@web2 init.d]# vim /etc/sysconfig/network-scripts/ifcfg-ens33      //修改網卡，僅主機模式
BOOTPROTO=static
IPADDR=192.168.80.222
NETMASK=255.255.255.0
GATEWAY=192.168.80.1
[[email protected]]# service network restart           //重啓網絡服務
[[email protected]]# service web.sh start            //啓動腳本
RealServer Start OK 
[root@web2 init.d]# systemctl start httpd.service       //開啓web服務
[root@web2 init.d]# ifup lo:0            //開啓迴環虛擬網卡

配置lvs1上keepalived部署

[root@lvs1 init.d]# vim /etc/keepalived/keepalived.conf
global_defs {
    ...
    smtp_server 127.0.0.1              //指向本地
    router_id LVS_01        //指定名稱,備份服務器不同名稱
    ...             
}

vrrp_instance VI_1 {
    state MASTER                 //備份服務器是BACKUP
    virtual_router_id 10        //組號相同
    ...
    auth_pass abc123             //驗證密碼
    priority 100                //優先級備份小於主服務器
    ...
    virtual_ipaddress {
                192.168.100.10
        }
    ...
virtual_server 192.168.100.10 80 {
...
    real_server 192.168.100.200 80 {
                weight 1
                TCP_CHECK {
                        connect_port 80       
                        connect_timeout 3
                        nb_get_retry 3
                        delay_before_retry 3
                }   
        }   
        real_server 192.168.100.222 80 {
                weight 1
                TCP_CHECK {                       //tcp
                        connect_port 80                  //添加端口
                        connect_timeout 3
                        nb_get_retry 3
                        delay_before_retry 3
                }   
        }    
}
[root@lvs1 init.d]# systemctl start keepalived.service 
[root@lvs1 init.d]# scp /etc/keepalived/keepalived.conf [email protected]:/etc/keepalived/    //複製到lvs2服務器上

在lvs2服務器上修改keepalived配置文件

[root@lvs2 init.d]# vim /etc/keepalived/keepalived.conf   ##修改keepalive配置文件
router_id LVS_02   ##router_id不能相同
...
state BACKUP     ##備服務器
...
priority 90    ##優先級低於主服務器
[root@lvs2 init.d]# systemctl start keepalived.service    ##啓動keepalive服務

LVS負載均衡羣集之DR模式+keepalived羣集機構（理論+實踐篇）

LVS-DR數據包流向分析

LVS-DR中的ARP問題

解決ARP的兩個問題的設置方法

Keepalived

Keepalived工具介紹

專爲LVS和HA設計的一-款健康檢查工具

Keepalived實現原理剖析

Keepalived master服務器的配置

常用配置選項講解

Keepalived備份服務器的配置與master的配置有三個選項不同

負載均衡+高可用羣集

LVS——DR模式+keepalived羣集實踐

實驗環境

在lvs1調度服務器上安裝keepalived，ipvsadm服務

修改lvs1服務器爲僅主機模式，並修改網卡配置

修改lvs2調度服務器配置

配置web1節點服務器

配置web1網卡

配置web2節點服務器和web1相同的配置

配置web2網卡

配置lvs1上keepalived部署

在lvs2服務器上修改keepalived配置文件

使用client測試機測試（訪問不到重啓全部服務即可）

DAPPER 事務 TRANSACTION

k8s部署---master節點組件部署（三）

Docker容器之基礎管理

Docker容器之鏡像管理，端口映射，容器互聯

k8s部署---UI界面部署（六）

k8s部署---多節點部署與負載均衡搭建（五）

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結