十三、RHCS實驗

架構規劃

2臺測試節點 RHCS1 RHCS2 一臺共享存儲RHCS3 集羣服務爲apache

存儲劃分

類型	卷	大小	掛載點	用途	備註
內置硬盤	標準	500MB	/boot	啓動分區	兩塊內置硬盤作RAID1
	LVM	1GB	N/A	SWAP分區
		2GB	/	根分區
共享存儲	LVM	10GB	/vgdata	數據區	三塊硬盤做RAID5

網絡規劃

主機名	IP	網口	用途	備註
RHCS1	172.16.1.107	bond0（eth0、eth1）	業務IP
	172.16.1.109		心跳ip
RHCS2	172.16.1.108	bond0（eth0、eth2）	業務IP
	172.16.1.109		心跳IP
RHCS3	172.16.1.105	eth0	共享存儲

 

1.雙網卡綁定(RHCS1 RHCS2)

vim /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
IPADDR=172.16.1.108
NETMASK=255.255.255.0
GATEWAY=172.16.1.2
ONBOOT=yes
BOOTPROTO=none
USERCTL=no
BONDING_OPTS="miimon=100 mode=1"
NM_CONTROLLED=no
TYPE=Ethernet

vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
HWaddr=00:0C:29:6A:AE:76
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=none
IPV6INIT=no
USERCTL=no
MASTER=bond0
SLAVE=yes

vim /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
HWaddr=00:0C:29:6A:AE:80
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=none
IPV6INIT=no
USERCTL=no
MASTER=bond0
SLAVE=yes
/etc/init.d/network restart

2.環境設置(RHCS1 RHCS2 RHCS3)

vim /etc/selinux/config
SELINUX=disabled
iptables -F
service iptables save
/etc/init.d/NetworkManager stop
chkconfig NetworkManager off

3.存儲搭建(RHCS3 raid5+lvm+iscsi)

#raid5創建
#磁盤類型轉換略 所有磁盤分區都轉換爲 fd
mdadm -C -v /dev/md5 -a yes -l5 -n3 /dev/sd[c,d,e]1
mdadm -Ds /dev/md5 >> /etc/mdadm.conf
#LVM
pvcreate /dev/md5
vgcreate vgdata /dev/md5
lvcreate -L 1G -n lv01 vgdata


#iscsi-target
yum -y install scsi-target-utils
chkconfig tgtd on
vim /etc/tgt/targets.conf
<target iqn.2018-06.com.rhcs.storage:vgdata.lv01>
    backing-store /dev/vgdata/lv01
    lun 10
</target>
#或者命令行
/etc/init.d/tgtd start
tgtadm --lld iscsi --mode target --op new --tid 1 --targetname iqn.2018-06.com.rhcs.storage:vgdata.lv01
tgtadm --lld iscsi --op new --mode logicalunit --lun 1 --tid 1 -b /dev/vgdata/lv01
tgtadm --lld iscsi --op bind --mode target --tid 1 -I ALL
#保存到配置文件
tgt-admin --dump > /etc/tgt/targets.conf
#刪除指定target
tgtadm --lld iscsi --op delete --mode target --tid=1
#更新target容量
tgtadm --op delete --mode logicalunit --tid=3 --lun=3
tgtadm --lld iscsi --op new --mode logicalunit --lun 3 --tid 3 -b /dev/vgdata/lv03
#initiator端重新掃描
iscsiadm --mode node --targetname iqn.2018-06.com.rhcs.storage:vgdata.lv03 -R

[root@RHCS3 yum.repos.d]# tgt-admin -s
        LUN: 10
            Type: disk
            SCSI ID: IET     0001000a
            SCSI SN: beaf110
            Size: 1074 MB, Block size: 512
            Online: Yes
            Removable media: No
            Prevent removal: No
            Readonly: No
            Backing store type: rdwr
            Backing store path: /dev/vgdata/lv01
            Backing store flags: 
    Account information:
    ACL information:
        ALL
        
        
#RHCS1 RHCS2
#iscsi-initiator
yum -y install iscsi-initiator-utils
chkconfig iscsid on
iscsiadm -m discovery -p 172.16.1.105:3260 -t sendtargets
iscsiadm -m node --targetname iqn.2018-06.com.rhcs.storage:vgdata.lv01 -p 172.16.1.105:3260 --login
iscsiadm -m node -T iqn.2018-06.com.rhcs.storage:vgdata.lv01 -p 172.16.1.105:3260 --logout

#hosts設置(RHCS1 2 3)
cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.1.107 RHCS-Master
172.16.1.108 RHCS-Slave
172.16.1.105 iscsi-target
172.16.1.109 VIP

4.集羣套件(RHCS1主 RHCS2備)

yum -y groupinstall "High Availability" "High Availability Management"
yum -y install ricci openais cman rgmanager lvm2-cluster gfs2-utils
#luci只需要在一個節點啓動      
service luci start 
service ricci start         
service rgmanager start
#設置集羣節點密碼
passwd ricci        
chkconfig luci on           
chkconfig rgmanager on
chkconfig ricci on

5.給所有節點安裝httpd服務並配置web主頁(RHCS1 RHCS2)

yum -y install httpd
echo `uname -n` > /var/www/html/index.html

6.訪問https://172.16.1.107:8084開始配置

創建集羣

創建失效域

創建資源

創建service group

重新啓動service group 查看vip是否漂移

設置共享存儲

RHCS1

fdisk /dev/sdb
n
p
1
+1G
w

RHCS1 RHCS2

partx /dev/sdb

RHCS1

mkfs.gfs2 -p lock_dlm -t mycluster:lv01 -j 3 /dev/sdb1

service group中添加共享存儲資源

7. 基於集羣邏輯卷創建gfs2文件系統 

1)在集羣節點中準備lvm類型的磁盤分區/dev/sdb2大小爲1G
#RHCS1
fdisk /dev/sdc
n
p
2
+1G
t
2
8e
w
#RHCS1 RHCS2 執行兩次
partx -a /dev/sdb

2)在各集羣節點安裝集羣邏輯卷專用程序包
yum -y install lvm2-cluster

3)配置集羣邏輯卷(選擇某一集羣節點操作即可)
pvcreate /dev/sdb2
vgcreate vg1 /dev/sdb2
vcreate -L 500M -n cvm cvg

4)配置各集羣節點啓動clvmd服務及開機自啓動
service clvmd start
chkconfig clvmd on

5)格式化集羣邏輯卷創建文件系統
lvmconf --enable-cluster
mkfs.gfs2 -p lock_dlm -j 3 -t mycluster:clvm /dev/cvg/cvm
#掛載不上時使用增加日誌系統
gfs2_jadd -j 1 /dev/cvg/cvm

6)測試掛載使用
mkdir /mnt/cluster
mount -t gfs2 /dev/cvg/cvm /mnt/cluster

[root@RHCS-Master ~]# df -h
Filesystem           Size  Used Avail Use% Mounted on
/dev/sda3             19G  3.4G   15G  20% /
tmpfs                491M   38M  454M   8% /dev/shm
/dev/sda1            194M   30M  155M  16% /boot
/dev/sr0             4.2G  4.2G     0 100% /mnt/cdrom
/dev/sdb1            1.1G  388M  643M  38% /mnt/lv01
/dev/mapper/cvg-cvm  500M  388M  113M  78% /mnt/cluster

7)擴展邏輯卷
lvextend -L +400M /dev/cvg/cvm

[root@RHCS-Master ~]# gfs2_grow /dev/cvg/cvm 
FS: Mount Point: /mnt/cluster
FS: Device:      /dev/dm-0
FS: Size:        127997 (0x1f3fd)
FS: RG size:     63988 (0xf9f4)
DEV: Size:       230400 (0x38400)
The file system grew by 400MB.
gfs2_grow complete.

[root@RHCS-Master ~]# df -h
Filesystem           Size  Used Avail Use% Mounted on
/dev/sda3             19G  3.4G   15G  20% /
tmpfs                491M   38M  454M   8% /dev/shm
/dev/sda1            194M   30M  155M  16% /boot
/dev/sr0             4.2G  4.2G     0 100% /mnt/cdrom
/dev/sdb1            1.1G  388M  643M  38% /mnt/lv01
/dev/mapper/cvg-cvm  750M  388M  362M  52% /mnt/cluster