keepalived+nginx+lvs 實現web羣集高可用性

LVS負載均衡機制:

LVS工作在網絡 層。相對於其它負載均衡的解決辦法,比如DNS域名輪流解析、應用層負載的調度、客戶端的調度等,它的效率是非常高的。LVS的通過控制IP來實現負載均 衡。IPVS是其具體的實現模塊。IPVS的主要作用:安裝在Director Server上面,在Director Server虛擬一個對外訪問的IP(VIP)。用戶訪問VIP,到達Director Server,Director Server根據一定的規則選擇一個Real Server,處理完成後然後返回給客戶端數據。這些步驟產生了一些具體的問題,比如如何選擇具體的Real Server,Real Server如果返回給客戶端數據等等。IPVS爲此有三種機制:

1.VS/NAT(Virtual Server via Network Address Translation),即網絡地址翻轉技術實現虛擬服務器。當請求來到時,Diretor server上處理的程序將數據報文中的目標地址(即虛擬IP地址)改成具體的某臺Real Server,端口也改成Real Server的端口,然後把報文發給Real Server。Real Server處理完數據後,需要返回給Diretor Server,然後Diretor server將數據包中的源地址和源端口改成VIP的地址和端口,最後把數據發送出去。由此可以看出,用戶的請求和返回都要經過Diretor Server,如果數據過多,Diretor Server肯定會不堪重負。

2.VS/TUN(Virtual Server via IP Tunneling),即IP隧道技術實現虛擬服務器。它跟VS/NAT基本一樣,但是Real server是直接返回數據給客戶端,不需要經過Diretor server,這大大降低了Diretor server的壓力。

3.VS/DR(Virtual Server via Direct Routing),即用直接路由技術實現虛擬服務器。跟前面兩種方式,它的報文轉發方法有所不同,VS/DR通過改寫請求報文的MAC地址,將請求發送到 Real Server,而Real Server將響應直接返回給客戶,免去了VS/TUN中的IP隧道開銷。這種方式是三種負載調度機制中性能最高最好的,但是必須要求Director Server與Real Server都有一塊網卡連在同一物理網段上

DR工作模式     支持約100個左右的應用
NAT工作模式  支持約10~20
個左右的應用
TUN工作模式   支持約100個左右的應用

 

一、安裝環境

CentOS-6.7-x86_64 四臺

分別部署的服務

keepalived 主

keepalived 從

nginx 兩臺

二、ip分佈

keepalived 主:192.168.1.4

keepalived 從 :192.168.1.5

nginx         主    :192.168.1.7

nginx         從     :192.168.19

lvs          虛擬ip  :192.168.1.20

所需軟件包keepalived ipvsadm

三、服務部署

1、keepalived 主

1.安裝keepalived ipvsadm 服務,主從一樣安裝這兩個服務

 [root@localhost ~]# yum -y install keepalived ipvsadm

2.配置主配置文件

########主配置文件

[root@localhost ~]#vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {

 router_id LVS-1   #實例名,可以配置多個實例,一個實例一行,一個實例一個虛擬塊

                                   }                                                                                           vrrp_instance VI_1 {         #跟實例組中的實例名一樣

state MASTER                ##設置lvs的狀態,MASTER和BACKUP兩種,必須大寫

interface eth0                #對外提供服務的網絡接口

virtual_router_id 52          #虛擬路由標識,MASTER和BACKUP是一致的,但在整個VRRP中是唯一的

priority 100                  #優先級,數值越大,優先級越高,MASTER要高於 BACKUP                                              

advert_int 1      #同步檢查間隔時間,MASTER和BACKUP之間同步檢查的時間間隔,單位爲秒

authentication {   #同步驗證,驗證密碼爲明文,MASTER和BACKUP之間的密碼和驗證類型必須一致

auth_type PASS                               #驗證方式,就用PASS                   

auth_pass 1112                               #VRRP密碼

                                                                                      }                                                                                           virtual_ipaddress {  # 虛擬地址,可寫多個,一個IP一行

192.168.3.30       #這裏設置的IP,一定要和real server的lvs腳本中的VIP一致

                                      }                                                                                                                                               

}                                                                                           virtual_server 192.168.3.30 80 { #虛擬服務器配置,此處IP就是之前的VIP,端口就是需要提供負載的端口,比如80,3306等等            

delay_loop 6                   #延時等待時間,單位爲

lb_algo   rr

lb_kind DR                 #HA調度算法,互聯網一般就用wlc加權最小連接調度和rr輪詢round robin

#   persistence_timeout 600 #會話保持時間,單一鏈接重連保持時間秒,可以理解爲sessio共

protocol TCP               #轉發協議,一般都是採用TCP方式,也可以使用UDP

real_server 192.168.3.153 80 {    #真實服務器的IP+端口,理解爲需要高可用的應用服務,比如80,3306等等                        

weight 1   #權重值,值越大,權重越高,可以承擔的負載雨大,服務器硬件比較好,可以使用高一點的權重    

 HTTP_GET {         #HTTP協議檢查

url {   

     path /index.html

     digest 070b49915221a57de67e89932afed22  ##該密鑰是genhash -s ip  -p 80 -u /主頁生成的

}   

connect_timeout 3             #連接超時時間,單位秒                                

 nb_get_retry 3               #檢測失敗後,重試次數,超出設定值,將後端服務器移除

  delay_before_retry 3        #失敗重試時間                                             

 }   

 }

 real_server 192.168.3.154 80 {

 weight 1

 HTTP_GET {

            url {

              path /index.html

              digest e8c723dd72644280df67f74deb090bf9

            }   

           connect_timeout 3

            nb_get_retry 3

            delay_before_retry 3

        }   

    }

}


4.從配置文件

[root@localhost ~]#vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {

   router_id LVS-2

}

vrrp_instance VI_1 {

    state BACKUP

    interface eth0

    virtual_router_id 52

    priority 50

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1112

    }   

    virtual_ipaddress {

        192.168.3.30

    }   

}

virtual_server 192.168.3.30 80 {

    delay_loop 6

    lb_algo rr

    lb_kind DR

   # persistence_timeout 600

    protocol TCP

    real_server 192.168.3.153 80 {

        weight 1

        HTTP_GET {

            url {

              path /index.html

              digest 070b49915221a57de67e89932afed227

            }

            connect_timeout 3

            nb_get_retry 3

            delay_before_retry 3

        }

    }   

    real_server 192.168.3.154 80 {

        weight 1

        HTTP_GET {

            url {

              path /index.html

              digest e8c723dd72644280df67f74deb090bf9

            }

            connect_timeout 3

            nb_get_retry 3

            delay_before_retry 3

        }

    }   

}


3、nginx 安裝兩臺安裝方法一樣  可以安裝腳本teng_..

  1.下載nginx 包

  從該網址下載 http://nginx.org/en/download.html

  nginx-1.2.9.tar.gz

  下載完成之後解壓

  tar -zxvf nginx-1.2.9.tar.gz -C /usr/local/

  yum 安裝nginx 需要的包

 [root@localhost ~]# yum install -y gcc gcc-c++ zlib-devel    openssl openssl-devel net-snmp-*

  編譯安裝nginx

  [root@localhost ~]# cd /usr/local/nginx-1.2.9

  [[email protected]~]# ./configure --prefix=/usr/local/nginx  && make && make install

  進入編譯的安裝目錄裏面編寫index 首頁做爲測試區別

   [root@localhost ~]#cd /usr/local/nginx/html

   [root@localhost ~]#echo -e "MASTER" > index.html

   [root@localhost ~]# echo -e "BACKUP" > index.html  ##另一臺nginx 服務

   拉起nginx 服務

   ./usr/local/nginx/sbin

4、配置realserver  兩臺nginx 都需要配置nginx 服務

5.獲取MD5加密字符串 得到的MD5加密字 添加到keepalived 配置文件中(該命令執行時)

   [root@localhost ~]#genhash -s 192.168.3.153  -p 80 -u  /index.html

   [root@localhost ~]#genhash -s 192.168.3.154  -p 80 -u  /index.html


6.創建realserver

[root@localhost ~]# vi /etc/init.d/realserver

#! /bin/bash

SYN_VIP=192.168.3.30

source /etc/rc.d/init.d/functions

case "$1" in

start)

    echo "start LVS of real server"

    ifconfig lo:0 $SYN_VIP netmask 255.255.255.255 broadcast $SYN_VIP

    echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

       echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

       echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

       echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

       sysctl -p >/dev/null 2>&1

       echo "RealServer Start OK"

    ;;

stop)

    echo "stop LVS of real server"

       ifconfig lo:0 down

       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore

       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce

       echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore

       echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce

       echo "RealServer Stoped"

       ;;

*)

    echo "USAGE: $0 {start|stop}"

    exit 1

esac

 2.拉起服務 [root@localhost ~]#/etc/init.d/realserver start

四、測試

先關閉一個keepalived 服務然後嘗試在wen 上輸入虛擬IP 看是否會自動切換 隨便更改一個html 的主頁信息看是否可以能夠顯示。

更改回來之後有能訪問則說明成功

五、問題總結

1.selinux 是否關閉

2.keepalived配置文件是否有問題

3.ip 之間是否全部通信

4.iptables 是否關閉

5. ipvsadm -ln

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  ip:80 rr
  -> ip80              Route   1      1          0         
  -> ip:80              Route   1      0          1     

  查看ipvsadm -ln 可以看到訪問或者查看日誌(/var/log/messages)是否被加載或者被替除


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章