目前,在線上環境中應用較多的負載均衡器硬件有F5 BIG-IP,軟件有LVS,Nginx及HAProxy,高可用軟件有Heartbeat、Keepalived,成熟的架構有LVS+Keepalived、Nginx+Keepalived、HAProxy+keepalived及DRBD+Heartbeat.下面介紹其中一種的安裝配置方法 LVS+Keepalived
環境:Centos 5.5
前端調度器Director使用主備模式,主的宕機了,備的接手任務
前端調度器1:LVS-master 192.168.0.101
前端調度器2:LVS-backup 192.168.0.103
後端服務器池:web1:192.168.0.104
web2:192.168.0.106
虛擬VIP:192.168.0.22
一:在LVS-master和 LVS-backup上面分別安裝ipvsadm和keepalived
A:安裝ipvsadm
1,先要做一個連接文件: ln -s/usr/src/kernels/2.6.18-308.8.1.el5-i686/ /usr/src/linux/
注意:如果ll /usr/src/kernels/ 目錄下沒東西,則 yum -y install kernel-devel解決
有關編譯錯誤可看官方wiki文檔:http://kb.linuxvirtualserver.org/wiki/Compiling_ipvsadm_on_different_Linux_distributions#Compiling_Error_Analysis
相關資源:
http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz
http://www.keepalived.org/software/keepalived-1.1.19.tar.gz
[root@master ~]#tar zxvf ipvsadm-1.24.tar.gz
[root@master ~]# cd ipvsadm-1.24
[root@master ipvsadm-1.24]#make;make install
如果報錯原因可能是因爲
實現LVS/DR最重要的兩個東西是ipvs內核模塊和ipvsadm工具包,現在的系統已經包含ip_vs模塊
1)檢查內核模塊,看一下ip_vs是否被加載
# lsmod |grep ip_vs
如果沒有顯示,則說明沒有加載,執行命令 modprobe ip_vs 就可以把ip_vs模塊加載到內核
# lsmod |grep ip_vs
ip_vs 121473 0
B:安裝keepalived
[root@master ~]#tarzxvf keepalived-1.1.19.tar.gz
[root@master ~]# cd keepalived-1.1.19
[root@master ipvsadm-1.24]#./configure --sysconf=/etc
--sysconfig=/etc 表示將配置文件和執行文件拷貝到/etc目錄
配置報錯configure:error:Popt libraries isrequired
此信息表示需要popt的開發包未安裝。
直接通過yum安裝即可。
執行
yuminstall popt-devel-y
[root@master ipvsadm-1.24]#make;make install
LVS-master上的配置腳本爲,vim/usr/local/keepalived/etc/keepalived/keepalived.conf
! Configuration Filefor keepalived
#全局定義部分
global_defs{
notification_email {
[email protected] #設置郵件報警地址,可以設置多個,每行一個
[email protected]
[email protected]
}
notification_email_from
#設置郵件的發送地址
smtp_server 127.0.0.1 #設置smtp server地址
smtp_connect_timeout 30 #設置連接smtp server的超時時間
router_id LVS_DEVEL #表示運行keepalived服務器的一個標示,發郵件時顯示在郵件主題中的信息
}
#vrrp實例定義部分
vrrp_instance VI_1 {
state MASTER #指定keepalived的角色
interface eth0 #指定HA檢測網絡的端口
virtual_router_id 51 #虛擬路由表示,這個表示是一個數字,同一個vrrp實例使用唯一的標示
priority 100 #定義優先級,數字越大,優先級越大,在同一個vrrp_instance下,MASTER的優先級必須高於BACKUP
advert_int 1 #設定MASTER和BACKUP負載均衡器之間的同步檢查的時間間隔,單位是秒
authentication {
auth_typePASS #設定驗證類型,主要有PASS和AH兩種
auth_pass 1111 #設置密碼,在同一個vrrp_instance下,MASTER和BACKUP必須使用相同的密碼才能正常通信
}
virtual_ipaddress { #設置虛擬IP地址,可以爲多個虛擬IP地址,每行一個
192.168.0.22
}
}
#虛擬服務器定義部分
virtual_server 192.168.0.22 80 { #設置虛擬服務器,需要指定虛擬IP地址和服務器端口,IP與端口之間用空格隔開
delay_loop 6 #設置運行情況檢查時間,單位是秒
lb_algo rr #設置負載調度算法,這裏是rr,即輪詢算法
lb_kind DR #設置LVS 實現負載均衡的調度機制,有NAT、TUN和DR三個模式
persistence_timeout 1 #會話保持時間,單位是秒
protocol TCP #指定轉發協議的類型
real_server 192.168.0.103 80 { #配置web2
weight 100 #服務節點的權值
TCP_CHECK { #realserver的狀態檢測部分,單位是秒
connect_timeout 3 #表示三秒無響應超時
nb_get_retry 3 #表示重試次數
delay_before_retry 3 #表示重試間隔
connect_port 80 #連接的端口
}
}
real_server 192.168.0.106 80 { #配置web1
weight 100
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
LVS-backup上的配置腳本爲,vim/usr/local/keepalived/etc/keepalived/keepalived.conf 紅色部分爲和LVS-master的區別
!Configuration File for keepalived
global_defs {
notification_email {
[email protected]
[email protected]
[email protected]
}
[email protected]
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 51
priority 80
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.0.22
}
}
virtual_server 192.168.0.22 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 1
protocol TCP
real_server 192.168.0.103 80 {
weight 100
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.0.106 80 {
weight 100
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
在後端服務器池realserver上的設置
web1:192.168.0.101
新建腳本vim /etc/init.d/lvsrs如下:
#!/bin/bash
#description :Start Real Server
VIP=192.168.0.22
/etc/rc.d/init.d/functions
case "$1" in
start)
echo "Start LVS of Real Server"
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
;;
stop)
/sbin/ifconfig lo:0 down
echo "close LVS Director server"
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
web2:192.168.0.106
新建腳本vim /etc/init.d/lvsrs如下:
#!/bin/bash
#description :Start Real Server
VIP=192.168.0.22
/etc/rc.d/init.d/functions
case "$1" in
start)
echo "Start LVS of Real Server"
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
;;
stop)
/sbin/ifconfig lo:0 down
echo "close LVS Director server"
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
開啓服務並測試
啓動主備前端調度器上的ipvs+keep服務
/etc/init.d/ipvsadm
/etc/init.d/keepalived
啓動後端服務器池nginx服務和lvsrs腳本
/etc/init.d/lvsrsstart
查看Master上的ipvs狀態和連接以及keep的狀態
測試生效結果
斷開104的nginx
啓動104的nginx 並且斷開101主調度器的keep和lvs
查看備調度器上的日誌 是否切換爲master
查看備調度器的ipvs輪詢地址
訪問頁面正常訪問就是正確的結果
在啓動master的keep看能否搶佔
測試完成
(中間的服務器池如果nginx掛掉在啓動不會搶佔,例如104掛掉106正常 啓動了在訪問也是106 )