LVS:如何用ipvsadm、ldirector實現httpd負載均衡

Cluster概念

系統擴展方式：
  Scale UP：向上擴展,增強
  Scale Out：向外擴展,增加設備，調度分配問題，Cluster
  
Cluster：集羣,爲解決某個特定問題將多臺計算機組合起來形成的單個系統**

Linux Cluster類型：
LB：Load Balancing，負載均衡
HA：High Availiablity，高可用，SPOF（single Point Of failure）
	MTBF:Mean Time Between Failure 平均無故障時間
	MTTR:Mean Time To Restoration（ repair）平均恢復前時間
	A=MTBF/（MTBF+MTTR） (0,1)：99%, 99.5%, 99.9%, 99.99%, 99.999%
HPC：High-performance computing，高性能 www.top500.org

分佈式系統：
  分佈式存儲：雲盤
  分佈式計算：hadoop，Spark

Cluster分類

一、LB Cluster的實現

硬件:
F5 Big-IP
Citrix Netscaler
A10 A10

軟件:
lvs：    Linux Virtual Server
nginx：  支持七層調度阿里七層SLB使用Tengine 
haproxy：支持七層調度
ats：    apache traffic server(yahoo捐助)
perlbal：Perl編寫
pound

二、 基於工作的協議層次劃分：

1、傳輸層（通用）：DPORT(DNAT) 目標地址轉換，內網地址被互聯網訪問

LVS：
nginx：stream
haproxy：mode tcp

2、. 應用層（專用）：針對特定協議，自定義的請求模型分類

proxy server：
	http：nginx, httpd, haproxy(mode http)
	fastcgi：nginx, httpd
	mysql：mysql-proxy

Cluster相關

• 會話保持：負載均衡
  (1) session sticky：同一用戶調度固定服務器
  Source IP：LVS sh算法（對某一特定服務而言）
  Cookie
  (2) session replication：每臺服務器擁有全部session
  session multicast cluster
  (3) session server：專門的session服務器
  Memcached，Redis

• HA集羣實現方案
  keepalived:vrrp協議
  ais:應用接口規範
  heartbeat
  cman+rgmanager(RHCS)
  coresync_pacemaker

LVS介紹

• LVS：Linux Virtual Server，負載調度器，集成內核，章文嵩，阿里SLB目前使用
  官網：http://www.linuxvirtualserver.org/
  VS: Virtual Server，負責調度
  RS: Real Server，負責真正提供服務
  L4：四層路由器或交換機

工作原理：VS根據請求報文的目標IP和目標協議及端口將其調度轉發至某RS，根據調度算法來挑選RS

• iptables/netfilter：
  iptables：用戶空間的管理工具
  netfilter：內核空間上的框架
  流入：PREROUTING > INPUT
  流出：OUTPUT > POSTROUTING
  轉發：PREROUTING > FORWARD > POSTROUTING
  DNAT：目標地址轉換； PREROUTING

lvs集羣類型中的術語：

• VS:Virtual Server，Director Server(DS)
  Dispatcher(調度器)，Load Balancer
• RS：Real Server(lvs), upstream server(nginx)
  backend server(haproxy)
• CIP：Client IP
• VIP: Virtual serve IP VS外網的IP
• DIP: Director IP VS內網的IP
• RIP: Real server IP
  訪問流程：CIP <> VIP == DIP <> RIP

LVS集羣的類型

• lvs: ipvsadm/ipvs
  ipvsadm：用戶空間的命令行工具，規則管理器
  用於管理集羣服務及RealServer
  ipvs：工作於內核空間netfilter的INPUT鉤子上的框架

• lvs集羣的類型：
  lvs-nat：修改請求報文的目標IP,多目標IP的DNAT
  lvs-dr：操縱封裝新的MAC地址
  lvs-tun：在原請求IP報文之外新加一個IP首部
  lvs-fullnat：修改請求報文的源和目標IP

VS-NAT模式

改IP或端口號 Destination Network Address Translation

• 只要訪問VIP80端口，未到達INPUR時，直接調度到對應RS：port上
• 本質是多目標IP的（iptables）DNAT，通過將請求報文中的目標地址和目標端口修改爲某挑出的RS的RIP和PORT實現轉發

（1）RIP和DIP應在同一個IP網絡，且應使用私網地址；RS的網關要指向DIP
（2）請求報文和響應報文都必須經由Director轉發，Director易於成爲系統瓶頸
（3）支持端口映射，可修改請求報文的目標PORT
（4）VS必須是Linux系統，RS可以是任意OS系統

開啓forward轉發
vim /etc/sysctl.conf
	net.ipv4.ip_forward=1
sysctl -p 
sysctl -a |grep ip_ford

LVS-DR模式

目標地址IP不變改mac

• Direct Routing，直接路由，LVS默認模式,應用最廣泛,通過爲請求報文重新封裝一個MAC首部進行轉發，源MAC是DIP所在的接口的MAC，目標MAC是某挑選出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目標IP/PORT均保持不變(LVS廣播通過RIP保存MAC地址）
• RS擁有兩個地址RIP和VIP，RIP綁定eth0網卡，VIP綁定lo迴環網卡即可。
• 不需開啓FORWARD轉發功能，在傳輸層之下基於mac地址，NAT模式需開啓forward轉發

（1） Director和各RS都配置有VIP（*重要）

（2） 確保前端路由器將目標IP爲VIP的請求報文發往Director
在前端網關做靜態綁定VIP和Director的MAC地址
- 在RS上使用arptables工具
arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP

- 在RS上修改內核參數以限制arp通告及應答級別
/proc/sys/net/ipv4/conf/all/arp_ignore         選1
 0：默認值：可使用本地任意接口上配置的任意地址進行相應
 1：僅在請求的目標IP配置在本地主機的接收到的請求報文的接口上時，纔給予相應
/proc/sys/net/ipv4/conf/all/arp_announce        選2
 0：默認值，把本機所有接口的所有信息向每個接口的網絡進行通告
 1：儘量避免將接口信息向非直接連接網絡進行通告
 2：必須避免將接口信息向非本網絡進行通告
修改all和lo中的arp_ignore和arp_annpunce值分別爲1和2

（3）RS的RIP可以使用私網地址，也可以是公網地址；RIP與DIP在同一IP網絡；RIP的網關不能指向DIP，以確保響應報文不會經由Director

（4）RS和Director要在同一個物理網絡 （相互廣播知道互相的mac地址）

（5）請求報文要經由Director，但響應報文不經由Director，而由RS直接發往Client

（6）不支持端口映射（端口不能修改）

（7）RS可使用大多數OS系統

LVS-TUN模式：ip添加IP首部

• 轉發方式：不修改請求報文的IP首部（源IP爲CIP，目標IP爲VIP），而在原IP報文之外再封裝一個IP首部（源IP變爲DIP，目標IP變爲RIP），將報文發往挑選出的目標RS；RS直接響應給客戶端（源IP是VIP，目標IP是CIP）

(1) DIP, VIP, RIP都應該是公網地址（或走專線）
(2) RS的網關一般不能指向DIP（指向中間隔的路由器地址）
(3) 請求報文要經由Director，但響應不能經由Director
(4) 不支持端口映射
(5) RS的OS須支持隧道功能
 
 通常DR和RS異地情況下使用

LVS-fullnat模式: 默認kernel不支持

• 通過同時修改請求報文的源IP地址和目標IP地址進行轉發
  CIP > DIP，VIP > RIP

(1) VIP是公網地址，RIP和DIP是私網地址，且通常不在同一IP網絡；因此，RIP的網關一般不會指向DIP
(2) RS收到的請求報文源地址是DIP，因此，只需響應給DIP；但Director還要將其發往Client
(3) 請求和響應報文都經由Director
(4) 支持端口映射
注意：此類型kernel默認不支持

通常DS和RS在異地情況下使用此種方式 

總結：

1. **lvs-nat與lvs-fullnat：**請求和響應報文都經由Director
   lvs-nat：RIP的網關要指向DIP
   lvs-fullnat：RIP和DIP未必在同一IP網絡，但要能通信

2. **lvs-dr與lvs-tun：**請求報文要經由Director，但響應報文由RS直接發往Client
   lvs-dr：通過封裝新的MAC首部實現，通過MAC網絡轉發
   lvs-tun：通過在原IP報文外封裝新IP頭實現轉發，支持遠距離通信

ipvs scheduler

ipvs scheduler：根據其調度時是否考慮各RS當前的負載狀態

兩種：靜態方法和動態方法

• 靜態方法：僅根據算法本身進行調度

1、RR：roundrobin，輪詢

2、WRR：Weighted RR，加權輪詢

3、SH：Source Hashing，實現session sticky，源IP地址hash；將來自於同一個IP地址的請求始終發往第一次挑中的RS，從而實現會話綁定

4、DH：Destination Hashing；目標地址哈希，將發往同一個目標地址的請求始終轉發至第一次挑中的RS，典型使用場景是正向代理緩存場景中的負載均衡，如：客戶想看優酷視頻-（寬帶運營商）--緩存（varnish)--優酷

• 動態方法：主要根據每RS當前的負載狀態及調度算法進行調度Overhead=value 較小的RS將被調度 （計算overhead值）

1、LC：least connections 適用於長連接應用
Overhead=activeconns*256+inactiveconns（活動*256+非活動鏈接）
  活動鏈接（三次握手後有報文傳輸） 非活動鏈接（三次握手後沒有報文傳輸）

2、WLC：Weighted LC 默認調度方法 權重高的優先連接，沒有初始連接不適用，可能權重低的先被分配
Overhead=(activeconns*256+inactiveconns)/weight

3、SED：Shortest Expection Delay 初始連接高的優先，權重相差大的，權重高總被連接
Overhead=(activeconns+1)*256/weight

4、NQ：Never Queue，第一輪均勻分配，後續SED。相當於讓你慢慢加班，就適應了。平滑過渡

5、LBLC：Locality-Based LC，動態的DH算法，使用場景：根據負載狀態實現正向代理。客戶又想看優酷了，可是別的varnish上沒有緩存數據，所以用LBLCR出現了

6、LBLCR：LBLC with Replication，帶複製功能的LBLC，解決LBLC負載不均衡問題，從負載重的複製到負載輕的RS

LVS配置工具ipvsadmipvsadm/ipvs

因ipvs潛伏在input鏈前面，所以通過

/boot/config- 文件可看IPVS是通過模塊提供，支持的協議，還有10種算法

grep -i -C 10 "ipvs" /boot/config-3.10.0-862.el7.x86_64

[root@master ~]#grep -i -C 10 "ipvs" /boot/config-3.10.0-862.el7.x86_64 
...
CONFIG_NETFILTER_XT_MATCH_IPVS=m
...
#
# IPVS transport protocol load balancing support
#
CONFIG_IP_VS_PROTO_TCP=y
CONFIG_IP_VS_PROTO_UDP=y
CONFIG_IP_VS_PROTO_AH_ESP=y
CONFIG_IP_VS_PROTO_ESP=y
CONFIG_IP_VS_PROTO_AH=y
CONFIG_IP_VS_PROTO_SCTP=y
#
# IPVS scheduler
#
CONFIG_IP_VS_RR=m    
CONFIG_IP_VS_WRR=m
CONFIG_IP_VS_LC=m
CONFIG_IP_VS_WLC=m
CONFIG_IP_VS_LBLC=m
CONFIG_IP_VS_LBLCR=m
CONFIG_IP_VS_DH=m
CONFIG_IP_VS_SH=m
CONFIG_IP_VS_SED=m
CONFIG_IP_VS_NQ=m

支持的協議：TCP， UDP， AH， ESP， AH_ESP, SCTP

ipvsadm選項：

rpm -ql ipvsadm
主程序：/usr/sbin/ipvsadm
規則保存工具：/usr/sbin/ipvsadm-save
規則重載工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config

選項：
ipvsadm -A|E -t|u|f service-address [-s scheduler][-p [timeout]] [-M netmask][--pe persistence_engine] [-b sched-flags]  A增加 E修改
ipvsadm -A 增加
ipvsadm -E 
ipvsadm -D -t|u|f service-address 刪除
ipvsadm –C 清空
ipvsadm –R 重載
ipvsadm -S [-n] 保存
ipvsadm -a|e -t|u|f service-address -r server-address [options]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -Z [-t|u|f service-address]  清空計數器
ipvsadm -Ln	查看
	--numeric, -n：以數字形式輸出地址和端口號
	--exact：擴展信息，精確值
	--connection，-c：當前IPVS連接輸出
	--stats：統計信息
	--rate ：輸出速率信息

注意：iptables和ipvsadm選項順序不能錯
iptables -nvL
ipvsadm -Ln

創建規則和連接保存路徑/etc/sysconfig/ipvsadm

保存：建議保存至/etc/sysconfig/ipvsadm
	ipvsadm-save > /PATH/TO/IPVSADM_FILE
	ipvsadm -S > /PATH/TO/IPVSADM_FILE
	systemctl stop ipvsadm.service
重載：
	ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
	ipvsadm -R < /PATH/FROM/IPVSADM_FILE
	systemctl restart ipvsadm.service

運行內存中：
ipvs規則：/proc/net/ip_vs
ipvs連接：/proc/net/ip_vs_conn
原理：
[root@lvs ~]#rpm -ql ipvsadm
[root@lvs ~]#cat /usr/lib/systemd/system/ipvsadm.service
...
[Service]
Type=oneshot
ExecStart=/bin/bash -c "exec /sbin/ipvsadm-restore < /etc/sysconfig/ipvsadm" 
ExecStop=/bin/bash -c "exec /sbin/ipvsadm-save -n > /etc/sysconfig/ipvsadm"
...

管理集羣服務：增、改、刪選項:

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
ipvsadm -D -t|u|f service-address

-A：增 -E：改
-D：刪
-t: TCP協議的端口，VIP:TCP_PORT
-u: UDP協議的端口，VIP:UDP_PORT
-f：firewall MARK，標記，一個數字
[-s scheduler]：指定集羣的調度算法

管理集羣上的RS：增、改、刪選項：

ipvsadm -a|e -t|u|f service-address -r RS-address [-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r RS-address

rip[:port] 如省略port，不作端口映射
lvs類型：
-g: gateway, dr類型，默認
-i: ipip, tun類型
-m: masquerade, nat類型
-w weight：權重，默認爲wlc

實驗環境搭建：

NAT模型：

一、NAT模型實現http負載均衡羣：

規劃網絡注意事項：
1.ROUTER添加路由 
route add -net 192.168.31.0/24 gw 10.0.0.100
2.LVS添加路由
ip route add 192.168.32.0/16 via 10.0.0.254	

LVS：
創建集羣規則：rr輪詢
ipvsadm -A -t 192.168.31.123:80 -s rr 
添加RS到集羣中
ipvsadm -a t 192.168.31.123:80 -r 192.168.32.7:80 -m
ipvsadm -a t 192.168.31.123:8080 -r 192.168.32.17:8080 -m
client訪問192.168.31.123查看是否成功


刪除RS從集羣中
ipvsadm -d -t 192.168.31.123:80 -r 192.168.32.17:8080
修改集羣規則：wrr權重輪詢
ipvsadm -E -t 192.168.31.123:80 -s wrr
修改RS的權重
ipvsadm -e -t 192.168.31.123:80 -r 192.168.32.17:8080 -m -w 3
client訪問192.168.31.123查看是否3:1訪問，是否修改成功


修改集羣規則：wlc  (默認，所以不用-s wlc)
ipvsadm -E -t 192.168.31.123:80
修改集羣規則：sh  
ipvsadm -E -t 192.168.31.123:80 -s sh 
client訪問查看是否成功，源地址則一直應該是一臺就對了

二、NAT模型實現https負載均衡羣

RS1和RS2：
yum install mod_ssl -y
systemctl restart httpd

LVS:
ipvsadm -A -t 172.20.0.123:443 -s rr
ipvsadm -a -t 192.168.31.123:443 -r 192.168.32.7
ipvsadm -a -t 192.168.31.123:443 -r 192.168.32.17

DR模型：

一、DR模型實現http負載均衡羣

規劃網絡注意事項：

一、ROUTER: 注意開啓轉發
vim /etc/sysctl.conf
	net.ipv4.ip_forward=1
sysctl -a |grep if_f

二、注意各路網關

三、不支持端口映射，RS必須listen80


注意生產中要寫到配置文件中！

實驗RS端配置腳本：

#!/bin/bash
#Author:dushan
#Date:2019-02-24
vip=10.0.0.100                
mask='255.255.255.255'
dev=lo:1
rpm -q httpd &> /dev/null || yum -y install httpd &>/dev/null
service httpd start &> /dev/null && echo "The httpd Server is Ready!"
echo "<h1>`hostname`</h1>" > /var/www/html/index.html

case $1 in
start)
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ifconfig $dev $vip netmask $mask #broadcast $vip up
    #route add -host $vip dev $dev
    echo "The RS Server is Ready!"
    ;;
stop)
    ifconfig $dev down
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    echo "The RS Server is Canceled!"
    ;;
*) 
    echo "Usage: $(basename $0) start|stop"
    exit 1
    ;;
esac

[root@rs1 ~]#bash lvs_dr_rs.sh start

實驗VS端配置腳本：

#!/bin/bash
#Author:wangxiaochun
#Date:2017-08-13
vip='10.0.0.100'
iface='lo:1'
mask='255.255.255.255'
port='80'
rs1='192.168.32.7'
rs2='192.168.32.17'
scheduler='wrr'
type='-g'
rpm -q ipvsadm &> /dev/null || yum -y install ipvsadm &> /dev/null

case $1 in
start)
    ifconfig $iface $vip netmask $mask #broadcast $vip up
    iptables -F
 
    ipvsadm -A -t ${vip}:${port} -s $scheduler
    ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1
    ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1
    echo "The VS Server is Ready!"
    ;;
stop)
    ipvsadm -C
    ifconfig $iface down
    echo "The VS Server is Canceled!"
    ;;
*)
    echo "Usage: $(basename $0) start|stop"
    exit 1
    ;;
esac

測試：
http:
while true;do curl http://10.0.0.100;sleep 0.5;done 

二、DR模型實現https負載均衡羣

1.RS:yum install mod_ssl 
2.更改腳本端口號443 執行腳本即可）
3.若想和80端兩個集羣一起跑則手敲一遍80規則
	ipvsadm -A -t 10.0.0.100:80 -s rr
	ipvsadm -a -t 10.0.0.100:80 -r 192.168.32.7
	ipvsadm -a -t 10.0.0.100:80 -r 192.168.32.17
注意：生產中RS都要提供同一個公鑰和同一個證書，生成一份複製到所有SERVER上

測試：
while true;do curl -k https://10.0.0.100;sleep 0.5;done

三、DR模型實現mysql負載均衡集羣

更改端口號3306

FWM:FireWall Mark

• MARK target 可用於給特定的報文打標記

  • –set-mark value
  • 其中：value 可爲0xffff格式，表示十六進制數字

• 藉助於防火牆標記來分類報文，而後基於標記定義集羣服務；可將多個不同的應用使用同一個集羣服務進行調度,實現方法：

  • 在Director主機打標記：
    iptables -t mangle -A PREROUTING -d $vip -p $proto –m multiport --dports $port1,$port2,… -j MARK --set-mark NUMBER

  • 在Director主機基於標記定義集羣服務：
    ipvsadm -A -f NUMBER [options]

創建標籤
iptables -t mangle -A PREROUTING -d 10.0.0.100 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 10
查詢標籤
iptables -t mangle -nVL (Mark set 0xa,十六進制表示10)

ipvsadm -A -f 10 -s rr
ipvsadm -a -f 10 -r 192.168.32.7 -g
ipvsadm -a -f 10 -r 192.168.32.17 -g

測試：
while true;do curl -k https://10.0.0.100;curl http://10.0.0.100;sleep 0.5;done

持久連接

• session 綁定：對共享同一組RS的多個集羣服務，需要統一進行綁定，lvs sh算法無法實現

• 持久連接#（ lvs persistence ）模板：實現無論使用任何調度算法，在一段時間內（默認360s ），能夠實現將來自同一個地址的請求始終發往同一個RS

  ipvsadm -A|E -t|u|f service-address [-s scheduler][-p [timeout]
  

• 持久連接實現方式：

  • 每端口持久（PPC）：每個端口定義爲一個集羣服務，每集羣服務單獨調度
  • 每防火牆標記持久（PFWMC）：基於防火牆標記定義集羣服務；可實現將多個端口上的應用統一調度，即所謂的port Affinity
  • 每客戶端持久（PCC）：基於0端口（表示所有服務）定義集羣服務，即將客戶端對所有應用的請求都調度至後端主機，必須定義爲持久模式 (真實環境一般不用，全部暴露)

ipvsadm -E -f 10 -s rr -p  默認360秒

LVS高可用性

• Director不可用，整個系統將不可用；SPoF Single Point of Failure
  解決方案：高可用
  keepalived heartbeat/corosync
• 某RS不可用時，Director依然會調度請求至此RS
  • 解決方案： 由Director對各RS健康狀態進行檢查，失敗時禁用，成功時啓用
    keepalived heartbeat/corosync ldirectord
  • 檢測方式：
    (a) 網絡層檢測，icmp（基於ping檢查）
    (b) 傳輸層檢測，端口探測 （基於服務檢查）
    © 應用層檢測，請求某關鍵資源（基於訪問網頁檢查）
    RS全不可用時：backup server, sorry server（臨時充當httpserver)

拓展：
如用腳本去除，思路爲：測試連接如失敗則自動去除故障RS，每5秒執行一次 
curl http://192.168.32.17 &> /dev/null ||ipvsadm -d -f 10 -r 192.168.32.17 

ldirectord

• ldirectord：監控和控制LVS守護進程，可管理LVS規則

• 包名：ldirectord-3.9.6-0rc1.1.1.x86_64.rpm

• 下載：http://download.opensuse.org/repositories/network:/ha-clustering:/Stable/CentOS_CentOS-7/x86_64/

• 文件：

  /etc/ha.d/ldirectord.cf 主配置文件
  /usr/share/doc/ldirectord-3.9.6/ldirectord.cf 配置模版
  /usr/lib/systemd/system/ldirectord.service 服務
  /usr/sbin/ldirectord 主程序,Perl實現
  /var/log/ldirectord.log 日誌
  /var/run/ldirectord.ldirectord.pid pid文件
  

• ldirectord配置文件示例:

  checktimeout=3		檢查時間超時時長
  checkinterval=1		幾秒檢查一次
  autoreload=yes		自動加載
  logfile=“/var/log/ldirectord.log“	#日誌文件
  quiescent=no		#down時yes權重爲0，no爲刪除
  virtual=10 			#指定VS的FWM或IP：port 
  real=192.168.32.7:80 gate 2
  real=192.168.32.17:80 gate 1
  fallback=127.0.0.1:80 gate 		#sorry server
  service=http
  scheduler=wrr
  checktype=negotiate
  checkport=80
  request="index.html"	檢查文件
  receive=“Test Ldirectord"	檢查關鍵字
  

[root@lvs ~]#yum install ldirectord
[root@lvs ~]#rpm -ql ldirectord
/etc/ha.d
/etc/ha.d/resource.d
/etc/ha.d/resource.d/ldirectord
/etc/logrotate.d/ldirectord
/usr/lib/ocf/resource.d/heartbeat/ldirectord
/usr/lib/systemd/system/ldirectord.service
/usr/sbin/ldirectord
/usr/share/doc/ldirectord-3.9.6
/usr/share/doc/ldirectord-3.9.6/COPYING
/usr/share/doc/ldirectord-3.9.6/ldirectord.cf
/usr/share/man/man8/ldirectord.8.gz
[root@lvs ~]#cp /usr/share/doc/ldirectord-3.9.6/ldirectord.cf /etc/ha.d/
[root@lvs ~]#cat /etc/ha.d/ldirectord.cf 
checktimeout=3
checkinterval=1
autoreload=yes
logfile="/var/log/ldirectord.log"
quiescent=yes
virtual=10.0.0.100:80
        real=192.168.32.7:80 gate
        real=192.168.32.17:80 gate
        fallback=127.0.0.1:80 gate
        service=http
        scheduler=rr
        #persistent=600
        #netmask=255.255.255.255
        protocol=tcp                   用標籤時去除protocol協議
        checktype=negotiate
        checkport=80
        request="index.html"
        receive="RS"
[root@lvs ~]#systemctl start ldirectord
[root@lvs ~]#vim /var/www/html/index.html
	SORRY SERVER
測試：
[root@dudou ~]#while true;do curl http://10.0.0.100;sleep 0.5;done