Lvs+heartbeat高可用高性能web站點的搭建

 這是我們公司在實際的生產環境當中使用的一套東西,希望對大家有所幫助(實際的公網ip,我已經做了相應的修改):

說明:每臺服務器需要有兩塊網卡:eth0連接內網的交換機,用私網ip,實現服務器間內部訪問;eth1連接公網交換機,供外網訪問。如果想節約成本可以只用一個交換機,劃分2個vlan分別連接內網和外網也可以,但這樣有風險,一旦交換機出問題,內網和外網都不能訪問,一定要權衡一下得失。

clip_p_w_picpath002

各個服務器ip配置如下:

主ha  eth1:1.1.1.14   eth0:192.168.1.8(心跳)

從ha  eth1:1.1.1.15   eth0:192.168.1.30(心跳)

real1:eth1:1.1.1.16 eth0:192.168.1.9

real1:eth1:1.1.1.16 eth0:192.168.1.10

real1:eth1:1.1.1.16 eth0:192.168.1.11

real1:eth1:1.1.1.16 eth0:192.168.1.12

一. 主ha的配置:

1. hosts文件的內容如下(如果有自己的DNS的話,也可以用DNS做解析):

127.0.0.1 primary.fantong.com localhost.localdomain localhost
::1  localhost6.localdomain6 localhost6
1.1.1.14  primary.fantong.com
192.168.1.8  primary.fantong.com
1.1.1.15  backup.fantong.com
192.168.1.30  backup.fantong.com

2.修改主機名: 編輯/etc/sysconfig/network

HOSTNAME=primary.fantong.com

3. 用命令修改一下主機名:

#hostname primary.fantong.com

4. 安裝軟件

yum -y install libnet

yum -y install heartbeat-*

yum -y install heartbeat(如果報錯,再安裝一次就ok了)

yum  -y install ipvsadm

如果是redhat系統沒有yum源的話,可以參考我的一篇博客文章來更改yum的一些設置: http://gehailong.blog.51cto.com/765312/610127

5. 軟件安裝完成以後會生成目錄/etc/ha.d,該目錄下存放heartbeat 的配置文件,驗證文件,資源文件(腳本,注意:在heartbeat中,腳本都被稱爲資源)等,這三個文件是必不可少的,本文中這三個文件都是我手工寫的。

1). Heatbeat的主配文件:/etc/ha.d/ha.cf/ha.cf

logfile /var/log/ha-log
debugfile /var/log/ha-debug
logfacility     local0 
keepalive 2 #主從切換的保持時間
deadtime 30 #宣佈對方死亡時間
warntime 10 #警告時間
udpport 694 #主從之間的通信端口
ucast eth0 192.168.1.30  #採用單播方式探測心跳,bcast是廣播方式;後面的地址是對端地址
auto_failback on #自動恢復,就是說如果主從故障中恢復會搶回主的位置
node    primary.fantong.com #主節點主機名
node    backup.fantong.com #從節點主機名
ping 192.168.1.30
ping_group lbgroup 1.1.1.14 1.1.1.15
ping_group lbgroup 192.168.1.8 192.168.1.30
respawn hacluster /usr/lib64/heartbeat/ipfail  #如果是32位系統,則目錄應該爲/usr/lib/heartbeat/ipfail
apiauth ipfail gid=haclient uid=hacluster #驗證用的用戶和組ID(已經自動建好了)

2). 資源列表 /etc/ha.d/haresources後面跟的是資源名(腳本),要保證跟backup的內容完全一致。

primary.fantong.com lvs ldirectord

3). 驗證文件 /etc/ha.d/authkeys 主從驗證 testlab驗證密碼 ,要保證跟backup的內容一致,否則主從驗證失敗。注意:改爲該文件權限必須爲600

auth1
1 sha1 testlab

6. 在安裝heatbeat-*的時候會安裝一個叫heartbeat-ldirectord 的文件,他的作用是管理後端的realserver。比如後端某個realserver死掉了,他會自動從列表當中刪除該資源,當該資源恢復後再自動添加進去。配置文件是:/etc/ha.d/ldirectord.cf ,內容如下(是我自己手工寫的):

# Global Directives監控realserver
checktimeout=3 #realserver超時時間
checkinterval=1 #檢查的間隔時間
fallback=127.0.0.1:80 #如果所有realserver宕機,由誰來承擔
autoreload=yes
logfile="/var/log/ldirectord.log"
emailalert="[email protected]" #出問題發郵件給誰(可以定義郵件組)
emailalertfreq=3600
emailalertstatus=all
quiescent=no #如果realserver出問題,立即從資源列表刪除
# Sample for an http virtual service
virtual=1.1.1.13:80  #(注意這個文件的格式,下面的內容必須至少空4格)
   real=1.1.1.16:80 gate #gate表示採用的是lvs中DR模式,有關lvs的模式和工作原理大家可以查找相關資料來了解一下。
     real=1.1.1.17:80 gate
real=1.1.1.18:80 gate

real=1.1.1.19:80 gate
fallback=127.0.0.1:80 gate
service=http
scheduler=wrr #realserver的調動方法:加權輪訓
persistent=5 #客戶端連接的持久時間
protocol=tcp
checktype=connect
   checkport=80

7. 該腳本的作用是啓動資源 /etc/init.d/lvs

#!/bin/bash
# description: start LVS of DirectorServer
#Written by :NetSeek http://www.linuxtone.org GW=192.168.1.254
# website director vip.
GW=1.1.1.13  #網關地址千萬不要填錯了,否則你的輔助(浮動)ip是無法訪問的。
WEB_VIP=1.1.1.13
WEB_RIP1=1.1.1.16
WEB_RIP2=1.1.1.17
WEB_RIP3=1.1.1.18

WEB_RIP3=1.1.1.19
. /etc/rc.d/init.d/functions
logger $0 called with $1
case "$1" in
start)
# Clear all iptables rules.
/sbin/iptables –F #這個地方要注意一下,如果公司最外端有防火牆,就可以清空iptables內容(都做允許,或者停止),把改行註釋掉;如果沒有就需要有防火牆了,自己寫策略或者寫腳本。
# Reset iptables counters.
/sbin/iptables –Z #同上
# Clear all ipvsadm rules/services.
/sbin/ipvsadm -C
#set lvs vip for dr
/sbin/ipvsadm --set 30 5 60
/sbin/ifconfig eth1:0 $WEB_VIP broadcast $WEB_VIP netmask 255.255.255.255 up
/sbin/route add -host $WEB_VIP dev eth1:0
/sbin/ipvsadm -A -t $WEB_VIP:80 -s wrr -p 3
/sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP1:80 -g -w 1
/sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP2:80 -g -w 1

/sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP3:80 -g -w 1

/sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP4:80 -g -w 1

touch /var/lock/subsys/ipvsadm >/dev/null 2>&1
# set Arp
/sbin/arping -I eth1 -c 5 -s $WEB_VIP $GW >/dev/null 2>&1
;;
stop)
/sbin/ipvsadm -C
/sbin/ipvsadm -Z
ifconfig eth1:0 down
route del $WEB_VIP >/dev/null 2>&1
rm -rf /var/lock/subsys/ipvsadm >/dev/null 2>&1
/sbin/arping -I eth1 -c 5 -s $WEB_VIP $GW
echo "ipvsadm stoped"
;;
status)
if [ ! -e /var/lock/subsys/ipvsadm ];then
echo "ipvsadm is stoped"
exit 1
else
ipvsadm -ln
echo "..........ipvsadm is OK."
fi
;;
*)
echo "Usage: $0 {start|stop|status}"
exit 1
esac

exit 0

8.  做一下兩步操作:

chmod 755 /etc/init.d/lvs 

     ln -s  /etc/init.d/lvs  /etc/ha.d/resource.d  #啓動ldirectord的時候它會從/etc/init.d 和/etc/ha.d/resource.d 目 錄裏面搜索資源(腳本)。

9. 讓heartbeat開機自啓動。

chkconfig   heartbeat  on

二.  backup上面的配置

1.安裝軟件包,同primary

2. 把primary上所有的腳本拷貝到backup上面,包括hosts文件,/etc/ha.d/*裏面的所有的內容。

3.修改/etc/ha.d/ha.cf。其他文件的內容與主的保持一致就可以。

ucast eth0 192.168.1.8  #採用單播方式探測心跳,bcast是廣播方式;後面的地址是對端地址(主的ip)
.........

ping 192.168.1.8

4. chkconfig heartbeat  on

三. realserver的配置

1. 編寫腳本/root/real.sh,主要作用是屏蔽arp,否則的話會與其他realserver和ha的地址發生衝突,腳本內容如下:

#/bin/sh
VIP=1.1.1.13
source /etc/rc.d/init.d/functions
case "$1" in
start)
echo "start LVS of RealServer"
/sbin/ifconfig lo:0 ${VIP} broadcast ${VIP} netmask 255.255.255.255 up
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
;;
stop)
/sbin/ifconfig lo:0 down
echo "Close LVS of RealServer"
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
;;
*)
echo "wrong,please use start|stop"
exit 1
esac

2. 修改一下腳本權限:chmod 755 real.sh

3. 啓動腳本/root/real.sh start

4. 加入啓動項:

修改/etc/rc.local在最後寫入一行

/root/real.sh  start

四. 測試。

1. 在主從上面分別啓動heartbeat。(注意:先主後從)

service heartbeat start

2. 觀察主日誌文件/var/log/ha-log

clip_p_w_picpath004

看到後面兩行表示已經啓動完畢,資源加載成功。

3. 觀察從日誌文件/var/log/ha-log

clip_p_w_picpath006

看到最後一行,表示從啓動成功,它並不啓動資源。有問題,可加我qq

大家可以去這裏下載文章http://down.51cto.com/data/268605

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章