LVS+ldirector实现负载均衡

一、先介绍几个软件:
ipvsadm:lvs的负载均衡调度是靠这个软件来实现的。
ldirectord:用这个软件可以自动检测后端服务器是否连接。如果网络down掉,直接在ipvsadm表里边把这个后端的权值变为0,代表不用这个后端。如果网络恢复,ipvsadm表中这个后端的权重又变为设置的值,代表可用。

heartbeat:做lvs的时候,调度器是一个瓶颈,会产生单点失败,做双机的时候用到heartbeat来实现两台调度器互为主备。但是heartbeat有可能会产生脑裂现象。
http://czmmiao.iteye.com/blog/1180851
keepalive:这个软件是用vrrp协议来实现双机,配置文件比较简单。
http://bbs.ywlm.net/thread-845-1-1.html

二、几个名词的解释:
脑裂:在“双机热备”高可用(HA)系统中,当联系2个节点的“心跳线”断开时,本来为一整 体、动作协调的HA系统,就分裂成为2个独立的个体。由于相互失去了联系,都以为是对方出了故障,2个节点上的HA软件像“裂脑人”一样,“本能”地争抢 “共享资源”、争起“应用服务”,就会发生严重后果:或者共享资源被瓜分、2边“服务”都起不来了;或者2边“服务”都起来了,但同时读写“共享存储”, 导致数据损坏(常见如数据库轮询着的联机日志出错)。
脑裂现象的解决:
1、串行电缆:被认为是比以太网连接安全性稍好些的连接方式,因为hacker无法通过串行连接运行诸如telnet、ssh或rsh类的程序,从而可以降低其通过已劫持的服务器再次侵入备份服务器的机率。但串行线缆受限于可用长度,因此主、备服务器的距离必须非常短。
2、以太网连接:使用此方式可以消除串行线缆的在长度方面限制,并且可以通过此连接在主备服务器间同步文件系统,从而减少了从正常通信连接带宽的占用。
vrrp协议:
这个网址很好的介绍了vrrp协议的工作过程和原理:http://bbs.ywlm.net/thread-790-1-1.html

三、几种软件的结合使用,建立高可用的lvs
1、单独用ipvsadm,实现负载均衡:
网络环境:
虚拟ip:192.168.0.90
调度器ip:192.168.0.184
后端1ip:192.168.0.185
后端2ip:192.168.0.186

调度器(192.168.0.184)上操作:
在调度器上安装ipvsadm: yum install ipvsadm

写ipvsadm启动脚本:
vim /usr/local/sbin/lvs-dr.sh

#!/bin/bash
#description:start LVS of DirectorServer

#mysql director vip.

MYSQL_VIP=192.168.0.90
MYSQL_RIP1=192.168.0.185
MYSQL_RIP2=192.168.0.186

logger $0 called with $1

case "$1" in

start)
# set squid vip
# /sbin/ipvsadm --set 30 5 60
/sbin/ifconfig eth0:0 $MYSQL_VIP broadcast $MYSQL_VIP netmask 255.255.255.255 up
/sbin/route add -host $MYSQL_VIP dev eth0:0
echo "1">/proc/sys/net/ipv4/ip_forward

#set LVS mysql
/sbin/ipvsadm -C
/sbin/ipvsadm -A -t $MYSQL_VIP:3306 -s wlc
/sbin/ipvsadm -a -t $MYSQL_VIP:3306 -r $MYSQL_RIP1:3306 -g -w 1
/sbin/ipvsadm -a -t $MYSQL_VIP:3306 -r $MYSQL_RIP2:3306 -g -w 1
touch /var/lock/subsys/ipvsadm >/dev/null 2>&1
;;
stop)
/sbin/ipvsadm -C
/sbin/ipvsadm -Z
ifconfig eth0:0 down
route del $MYSQL_VIP
rm -rf /var/lock/subsys/ipvsadm >/dev/null 2>&1
echo "ipvsadm stoped"
;;

status)

if [ ! -e /var/lock/subsys/ipvsadm ];then
echo "ipvsadm stoped"
exit 1
else
/sbin/ipvsadm
echo "ipvsadm OK"
fi
;;
*)
echo "Usage: $0 {start|stop|status}"
exit 1
esac

exit 0

ipvsadm主要选项的解释:
--set tcp tcpfin udp 设置连接超时值
-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也
就是增加一台新的虚拟服务器。
-C --clear 清除内核虚拟服务器表中的所有记录。
-t --tcp-service service-address 说明虚拟服务器提供的是tcp 的服务
-u --udp-service service-address 说明虚拟服务器提供的是udp
-a --add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器
记录。也就是在一个虚拟服务器中增加一台新的真实服务器
-d --delete-server 删除一条虚拟服务器记录中的某条真实服务器记录
-r --real-server server-address 真实的服务器[Real-Server:port]
-w --weight weight 真实服务器的权值
-s --scheduler scheduler 使用的调度算法,有这样几个选项
rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,
-L|-l --list 显示内核虚拟服务器表
默认的调度算法是: wlc.

ipvsadm的启动和停止:
启动:/usr/local/sbin/lvs-dr.sh start
运行脚本之后可以运行service ipvsadm save,脚本中ipvsadm几个规则就被保存在/etc/sysconfig/ipvsadm文件中。之后再运行service ipvsadm stop的时候规则不会丢失,再启动ipvsadm的时候可以直接用service ipvsadm start。
/etc/sysconfig/ipvsadm.conf-config文件保存在ipvsadm在启动和停止的时候要做的操作。
停止:service ipvsadm stop 或者 /usr/local/sbin/lvs-dr.sh stop

在后端realserver上要执行的动作有两点:
1、 给调度器上指定的真实ip的网卡上配置虚拟ip
2、 把arp解析给关闭

写脚本如下:
vim /usr/local/sbin/realserver.sh

#!/bin/bash
# description: Config realserver lo and apply noarp

MYSQL_VIP=192.168.0.90

. /etc/rc.d/init.d/functions

case "$1" in
start)
ifconfig lo:0 $MYSQL_VIP netmask 255.255.255.255 broadcast $MYSQL_VIP up
/sbin/route add -host $MYSQL_VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Start OK"

;;
stop)
ifconfig lo:0 down
route del $MYSQL_VIP >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac

exit 0

2、ldirectord的实现:
单独使用ipvsadm来实现的负载均衡,如果调度器和后端某台服务器不通,调度器不能及时发现,还去后端请求这台服务器,会导致请求不到而造成响应失败。ldirectord能够自动检测调度器和后端的网络状况,在后端某台服务器失效的情况下,自动把ipvsadm中记录这台服务器的权重变为0,如果恢复,又重新把权重变为设置的值。
查看ipvsadm的链接状况可以用命令:watch ipvsadm –L -n

ldirectord的安装和配置(调度上操作):
ldirectord是heartbeat带的一个软件,可以直接用yum安装:
yum install heartbeat-ldirectord
安装之后可以去查看ldirectod这个脚本调用的配置配置在哪儿位置放着:
vim /usr/sbin/ldirectord

可以看到这个服务器启动的时候默认用/etc/ha.d/或者/etc/ha.d/conf/这两个目录下的配置文件来启动。
在/etc/ha.d/conf/下建立ldirectord.cf,这个软件自带的有这个配置文件的模板,可以直接拷贝到这个目录下:
cp /usr/share/doc/heartbeat-ldirectord-2.1.4/ldirectord.cf /etc/ha.d/conf/
vim /etc/ha.d/conf/ldirectord.cf

# Global Directives
checktimeout=3
checkinterval=1
#fallback=127.0.0.1:80
autoreload=yes
logfile="/var/log/ldirectord.log"
logfile="local0"
#emailalert="[email protected]"
#emailalertfreq=3600
#emailalertstatus=all
quiescent=yes

# Sample for an http virtual service
virtual=192.168.0.90:3306
real=192.168.0.185:3306 gate 1
real=192.168.0.186:3306 gate 1
service=mysql
scheduler=rr
#persistent=600
#netmask=255.255.255.255
protocol=tcp
checktype=negotiate
checkport=3306
login="lvs"
passwd="123456"
database="mysql"
request="select * from user limit 1"

启动ldirectord:/usr/sbin/ldirectord start
此时可以查看ipvsadm表中的活动连接数:
watch ipvsdam –L –n

把186网卡down之后可以看到ipvsadm的连接数:


可以看到186的权值变为0
把186网卡重新启用,可以看到186的权值重新恢复成1。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章