heartbeat快速部署：
高可用服務————將資源（IP及程序服務等資源）從一臺已經故障的主機上快速轉移到另一臺正常運轉的主機上繼續提供服務
配置heartbeat軟件的配置文件，指定哪一臺heartbeat服務器作爲主服務器，另一臺作爲熱備服務器，在熱備上配置heartbeat守護程序監聽主服務器的心跳信息。（主備模式）
上面是主備模式，另外還可以做主主模式，即兩臺服務器互爲主備，這時他們之間會相互發送報文來告訴對方自己當前的狀態
如果在規定的時間內沒有收到對方發送過來的心跳報文，就會認爲對方掛了，此時就會啓動程序接管運行在對方機器上的資源或服務。
heartbeat故障切換時間爲5-20s
和keepalived一樣。heartbeat也是服務器級別的，不是服務級別。
切換條件：
1、服務器宕機
2、heartbeat服務本身故障
3、心跳線故障
服務故障不會導致切換，但是可以通過服務故障，把heartbeat服務停掉，這樣就符合切換條件了
heartbeat心跳連接：
1、串行線纜，即所謂的串口（缺點是兩臺主機之間不能距離太遠）
2、以太網線兩臺主機上的網卡直連（推薦，但是需要在兩臺主機上各自做路由）
3、以太網電纜，通過交換機等網絡設備連接（次選）
生產環境使用第二種或第一種，或是兩種同時使用
腦裂：
兩臺高可用服務器對在指定的時間內，無法檢測到對方的心跳而各自啓動故障轉移功能，也取得資源及服務所有權，此時兩臺高可用服務器都活着，就會導致同一個IP或服務在兩端同時啓動而發生衝突，後果很嚴重！！！
最嚴重的情況：兩臺高可用主機佔用同一個VIP，當用戶寫入數據時，可能會導致數據分別寫到兩端，這樣會導致服務器兩端數據不一致造成數據丟失
腦裂發生的原因：本質原因是備節點接收不到主節點的心跳信息
1、高可用服務對之間心跳鏈路故障，導致無法正常通行
a、心跳線壞了（斷了、老化）
b、網卡及相關驅動壞了，IP配置衝突（網卡直連）
c、心跳線之間連接的設備故障（網卡或交換機）
d、仲裁機出問題
2、高可用服務對機器上開啓了防火牆，阻擋了心跳信息
3、高可用服務對機器上心跳網卡地址信息配置不正確，導致心跳信息發送失敗
4、其他服務配置不當，如心跳方式不同，心跳廣播衝突等
防止腦裂發生的措施：
1、做心跳線冗餘，即同時使用串行電纜和以太網電纜連接
2、一旦檢測到腦裂，強行關閉一個心跳節點（需要特殊設備，stonith、fence等），相當於程序上備節點發現心跳線故障，發送關機命令到主節點
3、做好對腦裂的監控，一旦接到告警，人爲第一時間介入仲裁，降低損失
4、啓用磁盤鎖，正在服務的一方鎖住共享磁盤，腦裂發生時，對方完全搶不走共享磁盤資源
5、告警在服務器接管之前，給人員留足夠的時間去處理
6、告警後，不直接自動接管，而由人爲人員控制接管
7、增加仲裁機制，確定該有哪臺主機獲得資源
heartbeat心跳控制消息類型：
1、心跳信息
2、集羣轉換信息
3、重傳請求
心跳信息：約150字節的數據包，可能是單播、廣播、多播的方式，控制心跳頻率及出現故障等待多久進行故障轉換
集羣轉換信息：ip-request和ip-request-resp
當主服務器恢復在線狀態時，通過ip-request消息，請求備機釋放主服務器失敗時備服務器取得資源，備服務器釋放之前從主服務器取得的資源及服務
當備服務器釋放之前從主服務器取得的資源及服務後，就會通過ip-request-resp消息通知主服務器它不再擁有該資源及服務，主服務器接收到來自備節點的ip-request-resp消息後，啓動接管程序，接管會之前釋放的資源及服務
重傳請求：rexmit-request，控制重傳心跳請求
上述的三種心跳控制信息都使用UDP協議發送到/etc/ha.d/ha.cf文件指定的任意端口，或指定的多播地址
heartbeat是通過IP地址接管和ARP廣播進行故障轉移的：
arp廣播：在主節點出現故障時，備用節點接管資源後，會立即強制更新所有客戶端本地的ARP表（即清除客戶端段本地緩存的失敗服務器的vip地址和mac地址的解析記錄），以確保客戶端和服務端新的主服務對話。
管理IP和虛擬IP即VIP（別名IP、輔助IP）
管理IP：綁定在物理網卡上的真實IP，在高可用及負載均衡環境中，管理IP不對外提供用戶服務
別名IP：使用 ifconfig eth0:1 10.0.0.21 netmask 255.255.255.0 up (使用ifconfig指令設置的稱爲別名IP)
輔助IP：使用 ip addr add 10.0.0.21/24 broadcast 10.0.0.255 dev eth1 （使用ip指令設置的稱爲輔助IP）
注意：
1、KeepAlived和Heartbeat3（heartbeat2使用的是別名）採用的都是輔助IP
2、ip addr 可以查看別名ip和輔助IP；ifconfig只能查詢別名IP
heartbeat腳本默認目錄：
啓動腳本：/etc/init.d/
資源目錄：/etc/ha.d/resource.d/ #很重要的資源目錄，以後自己開發的程序，放在這裏
默認配置文件目錄：/etc/ha.d/
ha.cf 參數配置文件 配置heartbeat的一些基本參數
authkey 認證文件 高可用服務器對之間根據對端的authkey，對對端進行驗證
haresource 資源配置文件 如配置IP資源及腳本程序等
heartbeat分支：
從2.1.4版本開始，HA分成了3個分支：Heartbeat(最正宗)，Cluster Glue，Resource Agents
之前的Heartbeat CRM維護成Pacemaker
高可用負載均衡常見組合：
LVS+keepalive
HAProxy+Heartbeat
nginx+Heartbeat
高可用組合：
heartbeat+mysql+drbd
heartbeat+其他應用軟件
高可用至少2臺主機，負載均衡可以一臺
數據庫中： 如果自己有兩個主，可使用keepalived,如果是一主多重使用Heartbeat。
存儲中： 多使用heartbeat（可以對NFS以及其它相關的存儲做高可用，也可以對MFS分佈式存儲做高可用）
在數據庫和存儲中涉及到資源同步的heartbeat都擅長，可以配合DRBD做底層的數據同步
搭建環境：
主節點：
eth0 10.0.0.75 mheartbeat.com 管理IP，用於wan數據轉發，mheartbeat.com是主機名
eth1 172.16.1.75 用於服務器之間心跳線直連（做）
VIP 10.0.0.77 提供程序A掛載服務
備節點：
eth0 10.0.0.76 sheartbeat.com 管理IP，用於wan數據轉發，sheartbeat.com是主機名
eth1 172.16.1.76 用於服務器之間心跳線直連
VIP 10.0.0.88 提供程序B掛載服務
其中兩個服務器的eth1是通過網線直連的（用於心跳檢測，配置文件/etc/ha.cf可配置使用多播），而VIP要設置在eth0上，和eth0上原本的IP地址保持在一個網段
配置建議：將內外網配置成後8位相同，網卡做綁定，提升網卡性能
配置hosts文件：
將上述ip和主機名對應解析到各自的hosts文件中，然後測試解析（ping 主機名 返回對應的ip地址）
注意：解析結果必須要和uname -n 保持一致（否則heartbeat啓動不成功）
配置路由：這裏配置路由主要是爲了讓兩張網卡通過心跳線直連
master：route add -host 172.16.1.76 dev eth1
slave： route add -host 172.16.1.75 dev eth1
讓上述路由配置永久生效（3種方法）：
1、寫入到/etc/rc.local文件中（重啓主機依然生效、重啓網卡失效）
2、寫入到/etc/sysconfig/network-script/route-eth1文件內（重啓主機依然生效、重啓網卡依然生效）
3、寫入到/etc/sysconfig/network-script/static-routes文件內（重啓主機依然生效、重啓網卡依然生效）
這裏配置爲host而不是爲net配置路由，主要是讓該路由僅用於心跳信息
開始部署：
1、安裝
yum install heartbeat -y #兩臺主機上都要執行，安裝後heartbeat默認開機自啓動
注意：直接yum安裝會同時安裝nfs、rpcbind、samba、cifs等組件，且下次開機啓動時，rpcbind會自啓動
2、複製配置文件模板到/etc/ha.d/目錄下
cp -a /usr/share/doc/heartbeat-3.0.4/{ha.cf,haresources,authkeys} /etc/ha.d/
cd /etc/ha.d/
配置ha.cf文件：
vim /etc/ha.d/ha.cf
debugfile /var/log/ha-debug #調試日誌存放的位置
logfile /var/log/ha-log #heartbeat日誌存放的位置
logfacility local0 #rsyslog中配置通過local1設備接收日誌
keepalive 2 #心跳間隔時間（即每2s在eth1發送一次廣播）
deadtime 30 #備節點30秒沒有接收到主節點信號，認爲主節點掛了，接管VIP
warntime 10 #10s秒備節點沒有接收到主節點心跳信號，向日志中寫入一條警告信息
initdead 120 #hb首次運行，需等待120秒才啓動主節點的資源。至少是deamtime的2倍
udpport 694 #廣播通信使用的UDP端口
bcast eth1 #指明心跳使用以太網廣播方式在eht1接口上進行廣播，可以使用多個接口
mcast eth1 225.0.0.75 694 1 0 #廣播通信使用的接口，多播地址最後一個字節最好使用自己iP的後綴防止衝突，694爲UDP端口，1表示ttl值，0表示廣播包不進行迴環
auto_failback on #主節點從故障中恢復後是否要將服務自動切回（on切回，off不切回）
node nheartbeat.com #主節點主機名，也可使用IP地址
node sheartbeat.com #備節點主機名，也可使用IP地址
crm no #是否啓用Cluster Resource Manager（集羣資源管理）功能
配置authkey文件：authkey文件的權限必須是600
配置認證方式：crc/sha1/md5 共3種，其中crc是明文不建議使用，最佳使用sha1，md5次之
chmod 600 /etc/ha.d/authkey
cat /etc/ha.d/authkey
auth 1
1 sha1 a8fdc205a9f19cc1c7507a60c4f01b13d11d7fd0 #這裏的字符串可以隨意填寫，可使用md5sum，sha1sum等生成
配置haresources文件：
只有1行較爲重要
mheartbeat.com IPaddr::10.0.0.77/24/eth0
sheartbeat.com IPaddr::10.0.0.88/24/eth0
在mheartbeat.com這臺主機上作爲A服務的主主節點（sheartbeat.com是A服務的備節點），使用IPadd腳本（腳步的路徑是/etc/ha.d/resource.d/IPaddr）在eth0這塊網卡上添加VIP 10.0.0.77/24（這裏將VIP添加在eth0上，而不再是用於心跳的eth1上，注意VIP需要和eth0上的管理IP地址10.0.0.75保持在一個網段）
在sheartbeat.com這臺主機上作爲B服務的主主節點，使用IPadd腳本（腳步的路徑是/etc/ha.d/resource.d/IPaddr）在eth0這塊網卡上添加VIP 10.0.0.88/24（這裏將VIP添加在eth0上，而不再是用於心跳的eth1上，注意VIP需要和eth0上原本的IP地址10.0.0.76保持在一個網段）
上述這種方式是生產環境中最常用的
下面的方式使用的較少，通常用於某個固定的架構方案中
糾正一個概念：對某個服務做高可用，heartbeat必須和該服務安裝於同一臺機器上（因爲需要通過VIP對外提供服務，VIP只能在兩臺高可用主機之間進行轉移）
另外一個示例（很重要）：mysql+drbd+heartbeat
mheartbeat.com IPaddr::10.0.0.77/24/eth0 drbddisk::data Filesystem::/dev/drbd0::/data::ext3 rsdata
mheartbeat.com 主機名
IPadd::10.0.0.77/24/eth0 IPaddr是位於/etc/ha.d/resource.d/目錄下的配置IP的腳本名稱
執行/etc/ha.d/resource.d/IPaddr腳本後在該主機的eth0上設定10.0.0.27/24這個VIP 外服務的通信接口，這裏相當於執行：/etc/ha.d/resource.d/IPaddr 10.0.0.27/24/eth0 stop/start
drbddisk::data 啓動drbd data資源，這裏相當於執行：/etc/ha.d/resource.d/drbddisk data stop/start
data是drbd中配置的資源名稱
Filesystem::/dev/drbd0::/data::ext3 drbd分區掛載到/data/目錄，
這裏相當於執行：/etc/ha.d/resource.d/Filesystem /dev/drbd0 /data ext3 stop/start
rsdata 啓動mysql服務腳本，相當於執行/etc/ha.d/resource.d/rsdata stop/start
如果是自己開發的腳本(放在/etc/ha.d/resource.d/目錄中，且要賦予可執行權限)，腳本必須能夠傳遞start和stop這兩個參數纔可以
使用雙冒號:: 分隔，前面是腳本名稱，後面是傳遞的參數
將上述3個配置文件/etc/ha.d/{ha.cf,haresources,authkeys}拷貝到備節點的/etc/ha.d/目錄下
分別啓動兩臺主機上的Heartbeat服務
先在一臺機器上啓動： /etc/init.d/heartbeat start
ip a|grep -w inet 查看vip是否被設置（是隻有27，還是既有27，又有28），第一次啓動需要等待120秒後纔會被設置
[root@mheartbeat ha.d]# ip a|grep -w inet
inet 127.0.0.1/8 scope host lo
inet 10.0.0.75/24 brd 10.0.0.255 scope global eth0
inet 10.0.0.77/24 brd 10.0.0.255 scope global secondary eth0
inet 10.0.0.88/24 brd 10.0.0.255 scope global secondary eth0
inet 172.16.1.75/24 brd 172.16.1.255 scope global eth1
然後在另一臺機器上啓動 ：/etc/init.d/heartbeat start
ip a|grep -w inet 查看vip(查看是否有28)
[root@sheartbeat ha.d]# ip a|grep -w inet
inet 127.0.0.1/8 scope host lo
inet 10.0.0.76/24 brd 10.0.0.255 scope global eth0
inet 10.0.0.88/24 brd 10.0.0.255 scope global secondary eth0
inet 172.16.1.76/24 brd 172.16.1.255 scope global eth1
在第一臺機器上再次查看是否還有28
[root@mheartbeat ha.d]# ip a|grep -w inet
inet 127.0.0.1/8 scope host lo
inet 10.0.0.75/24 brd 10.0.0.255 scope global eth0
inet 10.0.0.77/24 brd 10.0.0.255 scope global secondary eth0
inet 172.16.1.75/24 brd 172.16.1.255 scope global eth1
然後分別在兩臺機器上停止其中一臺的heartbeat服務，在另一臺查看VIP（觀察VIP是否被接管）
[root@mheartbeat ha.d]# /etc/init.d/heartbeat stop
[root@web02 ha.d]# ip a|grep -w inet
inet 127.0.0.1/8 scope host lo
inet 10.0.0.75/24 brd 10.0.0.255 scope global eth0
inet 172.16.1.75/24 brd 172.16.1.255 scope global eth1
[root@sheartbeat ha.d]# ip a|grep -w inet
inet 127.0.0.1/8 scope host lo
inet 10.0.0.76/24 brd 10.0.0.255 scope global eth0
inet 10.0.0.88/24 brd 10.0.0.255 scope global secondary eth0
inet 10.0.0.77/24 brd 10.0.0.255 scope global secondary eth0
inet 172.16.1.76/24 brd 172.16.1.255 scope global eth1
再次啓動mheartbeat ha.d主機上的heartbeat服務：
[root@mheartbeat ha.d]# /etc/init.d/heartbeat start
[root@mheartbeat ha.d]# ip a|grep -w inet
inet 127.0.0.1/8 scope host lo
inet 10.0.0.75/24 brd 10.0.0.255 scope global eth0
inet 10.0.0.77/24 brd 10.0.0.255 scope global secondary eth0 #再次接管回來
inet 172.16.1.75/24 brd 172.16.1.255 scope global eth1
[root@sheartbeat ha.d]# ip a|grep -w inet
inet 127.0.0.1/8 scope host lo
inet 10.0.0.76/24 brd 10.0.0.255 scope global eth0
inet 10.0.0.88/24 brd 10.0.0.255 scope global secondary eth0
inet 172.16.1.76/24 brd 172.16.1.255 scope global eth1
這種方式的高可用，在主備之間進行切換時僅轉移VIP（不涉及具體的服務，這種形式做高可用，應用服務必須在兩臺機器上都啓動，通常用於web服務，不涉及寫數據的服務）
上述主備切換時僅僅是切換VIP，還沒有涉及到具體的服務，高可用是通過VIP來控制
下面是另一種形式，VIP和應用服務同時轉義（即VIP在哪臺主機上哪臺主機的應用服務啓動，不在則關閉服務）：即通過heartbeat控制應用服務的啓停
使用形式的前提：兩臺主機上的應用服務不能開機自啓動，不能事先啓動，也就是應用服務的啓動完全由heartbeat控制（VIP在則啓動，VIP不在則關閉），/etc/ha.d/resource.d/或/etc/init.d/目錄下要有應用服務的啓停腳本（該腳本必須有可執行權限）,如果兩個目錄都有該服務的啓停腳本優先使用/etc/ha.d/resource.d/目錄下的
前提工作：
[root@mheartbeat ha.d]# /etc/init.d/httpd stop
Stopping httpd: [ OK ]
[root@mheartbeat ha.d]# chkconfig httpd off
[root@sheartbeat ha.d]# /etc/init.d/httpd stop
Stopping httpd: [ OK ]
[root@sheartbeat ha.d]# chkconfig httpd off
[root@mheartbeat ha.d]# cp /etc/init.d/httpd /etc/ha.d/resource.d/
[root@mheartbeat ha.d]# ll /etc/ha.d/resource.d/httpd
[root@sheartbeat ha.d]# cp /etc/init.d/httpd /etc/ha.d/resource.d/
[root@sheartbeat ha.d]# ll /etc/ha.d/resource.d/httpd
[root@mheartbeat ha.d]# vim haresources #修改這個文件
mheartbeat.com IPaddr::10.0.0.77/24/eth0 httpd httpd服務的高可用，mheartbeat.com是主，sheartbeat.com是備，httpd是httpd服務的啓停腳本名稱，必須在/etc/ha.d/resource.d/中存在
sheartbeat.com IPaddr::10.0.0.88/24/eth0 mysql mysql服務的高可用，sheartbeat.com是主，mheartbeat.com是備，mysql是mysql服務的啓停腳本名稱，必須在/etc/ha.d/resource.d/中存在
sheartbeat.com上同樣進行上述修改
然後暫停兩臺機器上的heartbeat服務
[root@mheartbeat ha.d]# /etc/init.d/heartbeat stop
[root@mheartbeat ha.d]# lsof -i :80
[root@mheartbeat ha.d]#
[root@sheartbeat ha.d]# /etc/init.d/heartbeat stop
[root@sheartbeat ha.d]# lsof -i :80
[root@sheartbeat ha.d]#
在兩臺主機上啓動heartbeat服務:
/etc/init.d/heartbeat
[root@mheartbeat ha.d]# ip a|grep -w inet
inet 127.0.0.1/8 scope host lo
inet 10.0.0.75/24 brd 10.0.0.255 scope global eth0
inet 10.0.0.77/24 brd 10.0.0.255 scope global secondary eth0
inet 172.16.1.75/24 brd 172.16.1.255 scope global eth1
[root@mheartbeat ha.d]# lsof -i :80
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
httpd 6099 root 8u IPv6 18557 0t0 TCP :http (LISTEN)
httpd 6101 apache 8u IPv6 18557 0t0 TCP :http (LISTEN)
httpd 6102 apache 8u IPv6 18557 0t0 TCP :http (LISTEN)
httpd 6103 apache 8u IPv6 18557 0t0 TCP :http (LISTEN)
httpd 6104 apache 8u IPv6 18557 0t0 TCP :http (LISTEN)
httpd 6105 apache 8u IPv6 18557 0t0 TCP :http (LISTEN)
httpd 6106 apache 8u IPv6 18557 0t0 TCP :http (LISTEN)
httpd 6107 apache 8u IPv6 18557 0t0 TCP :http (LISTEN)
httpd 6108 apache 8u IPv6 18557 0t0 TCP *:http (LISTEN)
[root@sheartbeat ha.d]# ip a|grep -w inet
inet 127.0.0.1/8 scope host lo
inet 10.0.0.76/24 brd 10.0.0.255 scope global eth0
inet 10.0.0.88/24 brd 10.0.0.255 scope global secondary eth0
inet 172.16.1.76/24 brd 172.16.1.255 scope global eth1
[root@sheartbeat ha.d]# lsof -i :80 #沒有結果，httpd服務沒有在heartbeat備節點上啓動
此時將mheartbeat.com主節點上的heartbeat服務停掉，然後去sheartbeat.com上查看
[root@mheartbeat ha.d]# /etc/init.d/heartbeat stop
Stopping High-Availability services: Done.
[root@sheartbeat ha.d]# ip a|grep -w inet
inet 127.0.0.1/8 scope host lo
inet 10.0.0.76/24 brd 10.0.0.255 scope global eth0
inet 10.0.0.88/24 brd 10.0.0.255 scope global secondary eth0
inet 10.0.0.77/24 brd 10.0.0.255 scope global secondary eth0
inet 172.16.1.76/24 brd 172.16.1.255 scope global eth1
[root@sheartbeat ha.d]# lsof -i :80
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
httpd 6644 root 8u IPv6 19341 0t0 TCP :http (LISTEN)
httpd 6648 apache 8u IPv6 19341 0t0 TCP :http (LISTEN)
httpd 6649 apache 8u IPv6 19341 0t0 TCP :http (LISTEN)
httpd 6650 apache 8u IPv6 19341 0t0 TCP :http (LISTEN)
httpd 6651 apache 8u IPv6 19341 0t0 TCP :http (LISTEN)
httpd 6652 apache 8u IPv6 19341 0t0 TCP :http (LISTEN)
httpd 6655 apache 8u IPv6 19341 0t0 TCP :http (LISTEN)
httpd 6656 apache 8u IPv6 19341 0t0 TCP :http (LISTEN)
httpd 6657 apache 8u IPv6 19341 0t0 TCP *:http (LISTEN) #可以看出VIP和httpd服務都切換到sheartbeat.com備節點上
從上面可知，這方式如果vip和httpd服務是同步的，要麼都啓動，要麼都轉移
heartbeat控制的腳本要求：
1、腳本要放入/etc/init.d/httpd 或 /etc/ha.d/resource.d/ 這兩個目錄其中之一（如果兩邊同時存在，heartbeat啓動是使用後者）
2、腳本執行需要以/etc/init.d/httpd stop/start 方式
3、腳本具有可執行權限
4、/etc/init.d/httpd或/etc/ha.d/resource.d/httpd 下的腳本名稱 必須和配置文件/etc/ha.d/haresource中的：
mheartbeat.com IPaddr::10.0.0.77/24/eth0 httpd 前後兩個httpd名稱要一樣
5、當然這裏的httpd服務也可以替換成nginx、lvs、HAProxy等其它服務
注意不能直接替換成mysql數據庫（因爲替換後數據寫在了不同的主機上，讀取以前的數據時，會出現找不到的情況；如果使用heartbeat管理mysql數據庫等服務，必須使用實時同步，如使用drbd等，使兩臺主機上都有相同的庫）
6、這裏也可以是自己寫的腳本，只要能夠使用/etc/init.d/ stop/start這種格式來啓動後關閉就可
最後注意：使用heartbeat做高可用時，heartbeat最好不要開機自啓動
注意: /usr/share/heartbeat目錄下各個腳本的使用
[root@web01 heartbeat]# ll /usr/share/heartbeat/
-rwxr-xr-x 1 root root 21417 Dec 3 2013 BasicSanityCheck
-rwxr-xr-x 1 root root 1021 Dec 3 2013 ha_config
-rwxr-xr-x 1 root root 1094 Dec 3 2013 ha_propagate
-rwxr-xr-x 1 root root 652 Dec 3 2013 hb_addnode
-rwxr-xr-x 1 root root 652 Dec 3 2013 hb_delnode
-rwxr-xr-x 1 root root 379 Dec 3 2013 hb_setsite
-rwxr-xr-x 1 root root 393 Dec 3 2013 hb_setweight
-rwxr-xr-x 1 root root 1133 Dec 3 2013 hb_standby #手動執行釋放資源
-rwxr-xr-x 1 root root 951 Dec 3 2013 hb_takeover #手動執行接管資源
-rwxr-xr-x 1 root root 1678 Dec 3 2013 mach_down
-rwxr-xr-x 1 root root 2436 Dec 3 2013 req_resource
-rwxr-xr-x 1 root root 10680 Dec 3 2013 ResourceManager
-rwxr-xr-x 1 root root 1518 Dec 3 2013 TestHeartbeatComm
手動釋放和接管VIP：
/usr/share/heartbeat/hb_standby 選項
選項有：all（默認，釋放所有的VIP），local（僅釋放本機爲主節點的VIP），foreign（僅釋放本機爲備節點的VIP），failback（故障恢復，保留本機爲主節點的VIP，釋放本機爲備及節點的VIP，等同於foreign）
/usr/share/heartbeat/hb_takeover 選項
選項有：all（默認，接管所有的VIP），local（僅接管本機爲主節點的VIP），foreign（僅接管本機爲備節點的VIP），failback（故障恢復，接管所有VIP）