【0606】集羣架構、高可用、負載均衡（下）

18.11 LVS DR模式搭建

生產環境中 DR 模式使用比較多，IP tunnel 模式比較少，NAT 模式也不多

試驗環境：

分發器：192.168.194.130

rs1 ：192.168.194.132

rs2 ：192.168.194.133

vip ：192.168.194.200

1、將 rs1 和 rs2 的網關改回默認網關，192.168.194.2

2、dir 上編輯腳本 /usr/local/sbin/lvs_dr.sh

[root@arslinux-01 ~]# vim /usr/local/sbin/lvs_dr.sh
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.194.200
rs1=192.168.194.132
rs2=192.168.194.133
#注意這裏的網卡名字
ifdown ens33
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev ens33:2
$ipv -C
$ipv -A -t $vip:80 -s rr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

-m是nat模式，-g是dr模式

3、執行腳本 lvs_dr.sh

[root@arslinux-01 ~]# sh /usr/local/sbin/lvs_dr.sh
成功斷開設備 'ens33'。
連接已成功激活（D-Bus 活動路徑：/org/freedesktop/NetworkManager/ActiveConnection/4）

4、兩臺 rs 上也要編輯腳本 /usr/localsbin/lvs_rs.sh

[root@arslinux-02 ~]# vim /usr/local/sbin/lvs_rs.sh
#/bin/bash
vip=192.168.133.200
#把vip綁定在lo上，是爲了實現rs直接把結果返回給客戶端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作爲更改arp內核參數，目的是爲了讓rs順利發送mac地址給客戶端
#參考文檔www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

rs 2 上同 rs1

5、分別執行 lvs_rs.sh

6、route -n

[root@arslinux-02 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.194.2   0.0.0.0         UG    100    0        0 ens33
192.168.133.200 0.0.0.0         255.255.255.255 UH    0      0        0 lo
192.168.194.0   0.0.0.0         255.255.255.0   U     100    0        0 ens33

[root@arslinux-02 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet 192.168.133.200/32 brd 192.168.133.200 scope global lo:0
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:0c:29:14:4f:d9 brd ff:ff:ff:ff:ff:ff
inet 192.168.194.132/24 brd 192.168.194.255 scope global noprefixroute ens33
valid_lft forever preferred_lft forever
inet6 fe80::4c99:ed43:5757:e772/64 scope link noprefixroute
valid_lft forever preferred_lft forever

7、dir 上的 ip，ens33 有 192.168.194.200

[root@arslinux-01 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:0c:29:24:ea:f2 brd ff:ff:ff:ff:ff:ff
inet 192.168.194.130/24 brd 192.168.194.255 scope global noprefixroute ens33
valid_lft forever preferred_lft forever
inet 192.168.194.200/32 brd 192.168.194.200 scope global ens33:2
valid_lft forever preferred_lft forever
inet 192.168.194.150/24 brd 192.168.194.255 scope global secondary noprefixroute ens33:0
valid_lft forever preferred_lft forever
inet6 fe80::c905:5e78:b916:41da/64 scope link noprefixroute
valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:0c:29:24:ea:fc brd ff:ff:ff:ff:ff:ff
inet 192.168.100.1/24 brd 192.168.100.255 scope global noprefixroute ens37
valid_lft forever preferred_lft forever
inet6 fe80::f41:9da7:d8e3:10ba/64 scope link noprefixroute
valid_lft forever preferred_lft forever
4: ens38: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:0c:29:24:ea:06 brd ff:ff:ff:ff:ff:ff
inet 192.168.174.100/24 brd 192.168.174.255 scope global noprefixroute ens38
valid_lft forever preferred_lft forever
inet6 fe80::d106:93d1:7e89:8102/64 scope link noprefixroute
valid_lft forever preferred_lft forever

8、測試，瀏覽器訪問 192.168.194.200 ，多訪問幾次看結果

客戶量達到一定程度之後，就會達到均衡的作用

注意：打開端口轉發，修改內核參數不要忘

nat 模式需要將 rs 的網關修改爲 dir 的內網 ip，不要忽略

18.12 keepalived + LVS

爲什麼將 keepalived 加入到 lvs 中來的目的：

1，lvs 有 分發器的角色，一旦宕機，所有服務和訪問都會被終止（所有入口在分發器 dir 上）

2，keepalived 有負載均衡的作用

3，lvs 並不聰明，哪怕後臺有一個 rs 宕機，它依然會將請求轉發過去，有 keepalived 的話，一臺 rs宕機時，keepalived 不會再將請求轉發過去

• 完整架構需要兩臺服務器（角色爲dir）分別安裝 keepalived 軟件，目的是實現高可用，但keepalived 本身也有負載均衡的功能，所以本次實驗可以只安裝一臺 keepalived

• keepalived 內置了 ipvsadm 的功能，所以不需要再安裝 ipvsadm 包，也不用編寫和執行那個 lvs_dir 的腳本

測試環境：

dir ：192.168.194.130

rs1 ：192.168.194.132

rs2 ：192.168.194.133

vip ：192.168.194.100

1、dir 上編輯 /etc/keepalived/keepalived.conf

[root@arslinux-01 ~]# vim /etc/keepalived/keepalived.conf
vrrp_×××tance VI_1 {
#備用服務器上爲 BACKUP
state MASTER
#綁定vip的網卡爲ens33，你的網卡和阿銘的可能不一樣，這裏需要你改一下
interface ens33
virtual_router_id 51
#備用服務器上爲90
priority 100
advert_int 1
authentication {
    auth_type PASS
    auth_pass aminglinux
}
virtual_ipaddress {
    192.168.194.200
    }
}
virtual_server 192.168.194.200 80 {
    #(每隔10秒查詢realserver狀態)
    delay_loop 10
    #(lvs 算法)
    lb_algo wlc
    #(DR模式)
    lb_kind DR
    #(同一IP的連接60秒內被分配到同一臺realserver)
    persistence_timeout 0
    #(用TCP協議檢查realserver狀態)
    protocol TCP
    real_server 192.168.194.132 80 {
        #(權重)
        weight 100
        TCP_CHECK {
        #(10秒無響應超時)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
    real_server 192.168.194.133 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
}

2、啓動 keepalived

[root@arslinux-01 ~]# systemctl start keepalived
[root@arslinux-01 ~]# ps aux|grep keep
root       9372  0.0  0.1 122980  1412 ?        Ss   11:59   0:00 /usr/sbin/keepalived -D
root       9373  0.1  0.3 133944  3368 ?        S    11:59   0:00 /usr/sbin/keepalived -D
root       9374  0.0  0.2 133812  2636 ?        S    11:59   0:00 /usr/sbin/keepalived -D
root       9381  0.0  0.0 112724   988 pts/1    R+   12:00   0:00 grep --color=auto keep

3、因爲之前設定的虛擬 ip 和現在的 虛擬 ip 衝突，因此先關閉原先的 虛擬 ip

[root@arslinux-01 ~]# systemctl stop keepalived
[root@arslinux-01 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
        valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
        valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:24:ea:f2 brd ff:ff:ff:ff:ff:ff
    inet 192.168.194.130/24 brd 192.168.194.255 scope global noprefixroute ens33
        valid_lft forever preferred_lft forever
    inet 192.168.194.150/24 brd 192.168.194.255 scope global secondary noprefixroute ens33:0
        valid_lft forever preferred_lft forever
    inet6 fe80::c905:5e78:b916:41da/64 scope link noprefixroute
        valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:24:ea:fc brd ff:ff:ff:ff:ff:ff
    inet 192.168.100.1/24 brd 192.168.100.255 scope global noprefixroute ens37
        valid_lft forever preferred_lft forever
    inet6 fe80::f41:9da7:d8e3:10ba/64 scope link noprefixroute
        valid_lft forever preferred_lft forever
4: ens38: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:24:ea:06 brd ff:ff:ff:ff:ff:ff
    inet 192.168.174.100/24 brd 192.168.174.255 scope global noprefixroute ens38
        valid_lft forever preferred_lft forever
    inet6 fe80::d106:93d1:7e89:8102/64 scope link noprefixroute
        valid_lft forever preferred_lft forever

192.168.194.200 已經停了

4、ipvsadm 也沒有了規則

[root@arslinux-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

5、啓動 keepalived，dir 上查看 ipvsadm 規則

[root@arslinux-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.194.200:80 wlc
-> 192.168.194.132:80           Route   100    0          0
-> 192.168.194.133:80           Route   100    0          0

6、關閉 rs2 的 nginx，dir 上查看 ipvsadm 現象

[root@arslinux-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.194.200:80 wlc
-> 192.168.194.132:80           Route   100    0          0
-> 192.168.194.133:80           Route   100    0          0
[root@arslinux-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.194.200:80 wlc
-> 192.168.194.132:80           Route   100    0          0
-> 192.168.194.133:80           Route   100    0          0
[root@arslinux-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.194.200:80 wlc
-> 192.168.194.132:80           Route   100    0          0
-> 192.168.194.133:80           Route   100    0          0
[root@arslinux-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.194.200:80 wlc
-> 192.168.194.132:80           Route   100    0          0

關閉 rs2 後：keepalived 會自動將宕機的 rs 踢除

7、重啓 rs2 上的 nginx，可以再重新加回來

[root@arslinux-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.194.200:80 wlc
-> 192.168.194.132:80           Route   100    0          0
[root@arslinux-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.194.200:80 wlc
-> 192.168.194.132:80           Route   100    0          0
[root@arslinux-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.194.200:80 wlc
-> 192.168.194.132:80           Route   100    0          0
-> 192.168.194.133:80           Route   100    0          0

8、注意事項

配置keepalived + lvs

在兩臺rs上要執行lvs_rs.sh腳本

在dir上只要執行 echo 1 > /proc/sys/net/ipv4/ip_forward 即可

9、瀏覽器訪問 192.168.194.200

擴展

heartbeat和keepalived比較http://blog.csdn.net/yunhua_lee/article/details/9788433  

DRBD工作原理和配置   http://502245466.blog.51cto.com/7559397/1298945

mysql+keepalived http://lizhenliang.blog.51cto.com/7876557/1362313

lvs 三種模式詳解  http://www.it165.net/admin/html/201401/2248.html

lvs幾種算法 http://www.aminglinux.com/bbs/thread-7407-1-1.html

關於arp_ignore和 arp_announcehttp://www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html

LVS DR模型中的arp_ignore https://www.imooc.com/article/79661

lvs原理相關的   http://blog.csdn.net/pi9nc/article/details/23380589

haproxy+keepalived  http://blog.csdn.net/xrt95050/article/details/40926255

nginx、lvs、haproxy比較  http://www.csdn.net/article/2014-07-24/2820837

keepalived中自定義腳本 vrrp_script   http://my.oschina.net/hncscwc/blog/158746

lvs dr模式只使用一個公網ip的實現方法   http://storysky.blog.51cto.com/628458/338726

---

課堂筆記

keepalived

heartbeat

haproxy

LVS   四層

F5

nginx  七層 四層

DRBD

https://blog.51cto.com/502245466/1298945

類似於 reid1

MHA

https://blog.51cto.com/xiaoshuiaigege/2060768

-- MHA 自動切換的原理可以總結爲下面幾點：

• 從宕機崩潰的master保存二進制日誌事件（binlog events）;

• 識別含有最新更新的slave;

• 應用差異的中繼日誌（relay log）到其他的slave;

• 應用從master保存的二進制日誌事件（binlog events);

• 提升一個slave爲新的master;

• 使其他的slave連接新的master進行復制;