Redhat 5.3 Cluster 測試二三事
1. Redhat 5.3 安裝：
注意事項：
A 、安裝 Red Hat Enterprise Linux 5.3 時會要求輸入安裝號，這時需輸入，如果不輸 Cluster 和 Virtualization 組件將不會出現；
B 、測試環境建議在 Xen 虛機裏安裝， Redhat Cluster 提供了 Xen 虛機環境下的 fencing 設備： Virtaul Machine Fencing 。如果在 VMWare 虛機裏安裝， fencing 設備需選 Manual fencing 或自己編譯配置 VMWare 下的 fencing 設備。
2. Redhat 5.3 Cluster 配置：
由於我們搭建的是實驗環境，爲了配置方便我們可以把 Cluster 各節點的防火牆和 SELinux 關掉：
關閉防火牆：
service iptables stop
chkconfig iptables off
關閉 Selinux ：
“系統” - “管理” - “ SELinux Managerment ”，把“ System Default Enfocing Mode ”設爲“ Permissive ”或“ Disabled ”
另外我們需在每個節點上把 Cluster 服務設置爲開機自啓動：
chkconfig cman on
chkconfig clvmd on
chkconfig gfs on
chkconfig rgmanager on
Cluster 配置詳細步驟見 Configuring and Managing a Red Hat Cluster for RHEL5.2 第 5 和第 6 大章。
注意事項：
A、 主機名要以“主機名 . 域名”的方式撰寫，如 cluster1.domain 。需確保各主機名字不一樣，否則重名的機器將無法加入集羣；
B、 在“系統” - “管理” - “網絡” - “主機”欄添加集羣中所有主機的 IP 和名稱；
3. 在兩臺後端存儲設備 上建立 HA 鏡像卷
4. Redhat 5.3 Cluster 中各主機安裝 iscsi initiator ：
rpm –ivh iscsi-initiator-utils-6.2.0.868-0.18.el5.x86_64
( 注：該安裝包可在CentOS/ 目錄下找到 )
5. Redhat 5.3 Cluster 中各主機掃描映射過來的 HA 卷：
iscsiadm --mode discovery --type sendtargets --portal 192.168.1.101
（假設 存儲 服務器 1 IP 是 192.168.1.101 ）
iscsiadm --mode discovery --type sendtargets --portal 192.168.1.102
（假設 存儲 服務器 2 IP 是 192.168.1.102 ）
iscsiadm --mode node --targetname iqn.2005-01.com.1 --portal 192.168.1.101:3260 –login
iscsiadm --mode node --targetname iqn.2005-01.com.2 --portal 192.168.1.102:3260 --login
然後把兩臺 存儲 服務器的 HA 卷分別映射給 Cluster 中的各主機。
最後 Cluster 各主機重啓 iscsi 服務：
service iscsi restart
注：藍色字需根據實際 IP 和 iqn 填寫。
6. Multipath 設置
在 multipath 設置之前，每個節點看到的都是 HA 存儲映射過來的兩個卷，啓用 multipath 後，將在之上形成一個 HA 卷，一般叫 dm-? 。
首先配置 /etc/multipath.conf 文件， 配置好後可以用 scp 命令把該文件傳給 Cluster 中其它主機，如： scp /etc/multipath.conf 192.168.1.201:/etc/
啓動 multipath ：
modprobe dm-multipath
service multipathd start
chkconfig multipathd on
multipath -v3
multipath –l
( 查看 HA 卷名稱：如 dm-3)
7. 在 HA 捲上建立 GFS 文件系統
現在我們要在映射過來的 HA 捲上 ( 如 dm-3) 建立 GFS 文件系統， GFS 可讓集羣中的所有節點共享同一個文件系統。設置步驟如下：
（ GFS 設置詳細內容參見 3.1. Creating a File System ）
這裏假設 Multipath 後看到的 HA 卷是 dm-3
[node1]
fdisk /dev/dm-3
這裏我們要把 HA 裸設備格式化成 LVM 卷， fdisk 後將進入 fdisk 操作命令提示行，我們需進一步輸入以下命令：
m ( 查看 fdisk 命令列表 ),
n ( 新建 fdisk 分區 ),
p ( 分區類型選爲 primary 主分區 ),
1 ( 主分區號選爲 1),
enter ( 回車確認分區默認起始塊 ),
enter ( 回車確認分區默認結束塊 ),
t ( 更改分區類型 ),
8e ( 設置分區類型爲 8e ，即 LVM 分區 ),
w ( 保存設置退出 )
把 HA 卷 dm-3 設爲物理盤：
pvcreate /dev/dm-3
創建 VG ha ，並把物理盤 dm-3 添加到該 VG 中：
vgcreate ha /dev/dm-3
激活 VG ：
vgchange -a y ha
在該 VG 下創建 512M 大小的邏輯卷 (LV) lvha1 ：
lvcreate -L512 -n lvha1 ha
[node2]
service clvmd restart
( 必要，如果還有其它節點，需執行同樣步驟，以確保在 node1 節點上建立的邏輯卷可被其他節點看到 )
[node1]
mkfs.gfs2 -j 2 -p lock_dlm -t tl_cluster:ha /dev/ha/lv1
( 注： -j 2 指 Redhat 集羣中有 2 個節點，如果有 3 個節點，需改成 3 ，以此類推 )
掛載該 GFS 文件系統：
[node1]
mount /dev/ha/lv1 /mnt/ha
8. 配置集羣服務：
這裏我們將讓 Redhat Cluster 提供 NFS 集羣服務：
在每臺節點上輸入以下命令：
service nfs start
chkconfig nfs on
然後設置集羣服務，添加 IP 、 GFS 、 NFS Export 、 NFS Client Resource 和 Service ，設置詳細步驟參見 1. NFS over GFS in a Red Hat Cluster 。
注意事項：
NFS Client Resource 設置中的 Path 需設爲訪問 Cluster 服務的 Linux 或 Unix 客戶機上的 mount 路徑，如 /mnt/ha ，在客戶機上需首先建立該目錄：
[nfsclient]
mkdir /mnt/ha
然後 mount Cluster 集羣上的 HA 卷： ( 假設 Cluster 對外 IP 是 192.168.1.203)
mount 192.168.1.203:/mnt/ha /mnt/ha
至此環境搭建完成，大家可進行下一步的集羣failover和存儲failover測試了。