linux高可用性文件服務器羣集之DRBD+NFS+Heartbeat

 一,搭建實驗環境

 

Vmware8.0.11

node1.liuwei.com: eth0:192.168.101.100   host-only

  添加 sdb1 1G 心跳線: eth1:192.168.2.1       VMnet2

node2.liuwei.com:  eth0: 192.168.101.200   host-only

  添加 sdb1 1G 心跳線:eth1:192.168.2.2        VMnet2

Heartbeat虛擬IP: 192.168.101.254  

在 /root 有    drbd83-8.3.8-1.el5.centos.i386.rpm 

               kmod-drbd83-8.3.8-1.el5.centos.i686.rpm 

二, 設置兩臺服務器的網卡信息、hosts、主機名,時鐘同步及sdb硬盤初始化並使相互ping通

1.setup

 

2.vim /etc/hosts
127.0.0.1       localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6
192.168.101.100 node1.liuwei.com
192.168.101.200 node2.liuwei.com
3.vim /etc/sysconfig/network

 

NETWORKING=yes

NETWORKING_IPV6=yes

HOSTNAME=node1.liuwei.com

4.service network restart

5. hwclock -s

6.fdisk  /dev/sdb

n  p   1 +1000M  w 

7. partprobe /dev/sdb

 

 三.配置DRBD

1.cd  /root

 

 rpm -ivh drbd83-8.3.8-1.el5.centos.i386.rpm 

 rpm -ivh kmod-drbd83-8.3.8-1.el5.centos.i686.rpm 

2. cd /etc/drbd.d/
3. vim global_common.conf
 

 

 global {

        usage-count yes;

        # minor-count dialog-refresh disable-ip-verification

}

common {

        protocol C;

      startup {

                wfc-timeout 120;

                 degr-wfc-timeout 120;

        }

      disk {

                on-io-error  detach;

                fencing     resource-only; }

net {

cram-hmac-alg "sha1";

shared-secret "liuwei";

}

    syncer {

            rate 100M;

        }

}

4.  vim web.res

 resource web {

        on node1.liuwei.com {

           device    /dev/drbd0;

           disk     /dev/sdb1;

           address 192.168.101.100:7789;

           meta-disk   internal;

}

          on node2.liuwei.com {

          device    /dev/drbd0;

          disk     /dev/sdb1;

          address 192.168.101.200:7789;

          meta-disk   internal; }

}

5.   vim /etc/drbd.conf

    include "drbd.d/global_common.conf";

    include "drbd.d/*.res";

6. drbdadm  create-md web

7. service drbd start

8. mkfs -t ext3  -L drbdweb  /dev/drbd0
9.mkdir /nfs
10.mount /dev/drbd0  /nfs
11.umount /nfs
12.drbdadm  secondary  web
13.drbdadm  role web
14.在 node2
drbdadm   primary web 可切換
 
 
 

二、 設置NFS及相關資源

啓動portmap和nfs服務,並設置開機啓動,

#service portmap start

#service nfs start

#chkconfig --level 345 portmap on

#chkconfig --level 345 nfs on

在node1上格式化drbd0設備,並掛載在/nfs目錄

[root@node1 ~]# mkdir /nfs

現在可以把node1上的DRBD設備掛載到/nfs目錄上進行使用。備機的DRBD設備無法被掛載,因爲它是用來接收主機數據的,由DRBD負責操作。

[root@node1 ~]# mount /dev/drbd0 /nfs

在/etc/exports 上將/nfs目錄共享出去,並reload

[root@node1 ~]exportfs –r

如果不使用heartbeat的情況下,DRBD只能手工切換主從關係

現在修改heartbeat的配置文件,使DRBD可以通過heartbeat自動切換

[root@node1 ~]# vim /etc/ha.d/haresources

node1 192.168.101.254 drbddisk::drbdtest Filesystem::/dev/drbd0::/nfs::ext3 drbd portmap nfs

註釋:上面那行

node1 定義node1爲heartbeat的主機

192.168.101.254 定義對外服務的IP地址,這個IP自動在主從機之間切換

drbddisk::drbdtest 定義使用的drbd資源

Filesystem::/dev/drbd0::/nfs::ext3 定義掛載文件系統

drbd portmap nfs 定義其他需要切換的服務(用空格隔開)

三、 安裝並配置heartbeat

1、 先創建heartbeat需要的用戶

groupadd haclient

useradd hacluster -g haclient

2、安裝heartbeat前,需要先安裝libnet包。

tar zxvf heartbeat-2.1.3.tar.gz

rpm –ivh libnet-1.1.2.1-2.2.el5.rf.i386.rpm

cd heartbeat-2.0.7

./configure

make

make install

兩臺機器都要安裝,操作一樣。

3、查找下ha.cf等三個配置文件的位置,然後將他們拷貝到/usr/local/etc/ha.d/目錄中

[root@node1 heartbeat-2.0.7]# find / -name ha.cf

/usr/local/share/doc/heartbeat-2.0.7/ha.cf

/root/heartbeat-2.0.7/doc/ha.cf

[root@node1 heartbeat-2.0.7]#cp /usr/local/share/doc/heartbeat-2.0.7/ha.cf /usr/local/etc/ha.d/ha.cf

[root@server1 heartbeat-2.0.7]# cp /usr/local/share/doc/heartbeat-2.0.7/haresources /usr/local/etc/ha.d/haresources

[root@node1 heartbeat-2.0.7]# cp /usr/local/share/doc/heartbeat-2.0.7/authkeys /usr/local/etc/ha.d/authkeys

4、修改配置文件如下:

1)ha.cf配置內容:

------------------------------------------------------------------------------------------------------------

logfile /var/log/ha-log

keepalive 2

deadtime 30

warntime 10

initdead 120

udpport 694

bcast eth1

ucast eth1 192.168.2.1 。

auto_failback on

node node1

node node2

ping_group group1 192.168.101.254 

respawn hacluster /usr/lib/heartbeat/ipfail

apiauth ipfail gid=haclient uid=hacluster

------------------------------------------------------------------------------------------------------------------

2)haresources配置內容;

node1 192.168.101.100 drbddisk::drbdtest Filesystem::/dev/drbd0::/nfs::ext3 drbd portmap nfs

3)authkeys的配置內容:

auth 1

1 crc

#2 sha1 HI!

#3 md5 Hello!

node1和node2的配置是一樣的,除了在node2的ha.cf中將ucast的IP修改爲192.168.2.2。

設置haresources文件的權限爲600。

啓動heartbeat ,卻發現錯誤,原因在於我們的配置文件裏的ipfail文件位置不對,我們可以尋找下。

[root@node2 ha.d]# cd /usr/lib/

[root@node2 ha.d]# find / -name ipfail

/usr/local/lib/heartbeat/ipfail

/root/heartbeat-2.0.7/contrib/ipfail

/root/heartbeat-2.0.7/contrib/ipfail/ipfail

/root/heartbeat-2.0.7/contrib/ipfail/.libs/ipfail

我們將ha.cf的配置內容修改爲/usr/local/lib/heartbeat/ipfail

此時啓動heartbeat服務,發現過了一會,我們的虛擬IP 就ping不通了,查看日誌

發現時drbddisk的資源找不到,我們將drbddisk拷貝一份到/usr/local/etc/ha.d/resource.d,

[root@node2 ~]# cp /etc/ha.d/resource.d/drbddisk /usr/local/etc/ha.d/resource.d/drbddisk

分別在node1和node2上執行。

然後再次啓動heartbeat,此時就沒問題了。

確定heartbeat和DRBD開機自啓動

確定需要由heartbeat切換的服務,開機不自啓動(由heartbeat來啓用相關的服務)

四、測試

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章