Note：以下爲NFS+DRBD+HEARTBEAT快速實施文檔，若要用於生產環境，請仔細閱讀官方文檔並結合實際業務調整參數，涉及數據部署請慎重！！！
（個人建議：在基於個人熟悉服務的情況下並通過測試環境纔可在線上使用。）
存儲高可用
NFS+DRBD+HEARTBEAT快速實施方案
環境：
nfs-utils-1.2.3-75.el6_9.x86_64 heartbeat-3.0.4-2.el6.x86_64 drbd84-utils-8.9.8-1.el6.elrepo.x86_64 | CentOS release 6.7 (Final) 2.6.32-573.el6.x86_64 x86_64 |
規劃表：
名稱 | 接口 | IP | 用途 |
Master | eth0 | 10.0.0.31 | 管理IP |
eth1 | 172.16.1.31 | 心跳線 | |
Backup | eth0 | 10.0.0.32 | 管理IP |
eth1 | 172.16.1.32 | 心跳線 | |
VIP | eth0 | 10.0.0.30 | 提供NFS存儲服務IP |
以下操作除特殊說明外，均爲在兩臺服務器操作
1. 初始化
關閉selinux,iptables
配置主機名，/etc/hosts，/etc/sysconfig/network，配置網絡配置
2. 分區
parted /dev/sdb mklabel gpt
parted /dev/sdb mkpart primary 0 1024
parted /dev/sdb mkpart primary 1025 2146
parted /dev/sdb p
3. 主NFS格式化/dev/sdb1，從NFS不需要格式化（特殊說明）
mkfs.ext4 /dev/sdb1
4. 安裝DRBD
rpm -Uvh http://www.elrepo.org/elrepo-release-6-8.el6.elrepo.noarch.rpm
yum install -y drbd84-utils kmod-drbd84
5. 初始化DRBD
modprobe drbd
6. 創建配置資源文件/etc/drbd.d/r0.res
resource r0 {
net {
protocol C;
cram-hmac-alg "sha1";
shared-secret "c4f9375f9834b4e7f0a528cc65c055702bf5f24a";
}
device /dev/drbd0;
disk /dev/sdb1;
meta-disk /dev/sdb2[0];
on nfs {
address 172.16.1.31:7788;
}
on nfs-s {
address 172.16.1.32:7788;
}
}7. 初始化drbd設備
drbdadm create-md r0
drbdadm up r0
cat /proc/drbd
8. 將nfs提升爲主，從nfs不需要操作（特殊說明）
drbdadm -- --overwrite-data-of-peer primary r0
9. 將nfs的drbd0格式化以供掛載使用，從nfs不需要操作（特殊說明）
mkfs.ext4 /dev/drbd0
10. 測試掛載
mkdir /data
mount /dev/drbd0 /data
至此，drbd安裝完畢，下面安裝nfs
1. 安裝NFS
yum install -y rpcbind nfs-utils
2. 編輯配置文件
echo "/data 10.0.0.0/24(rw,sync,anonuid=502,anongid=502,all_squash)" >/etc/exports
3. 創建nginx用戶 uid,gid均爲502,並將共享目錄/data授權所有者爲nginx
useradd -s /sbin/nologin -u 502 -M nginx
chown -R nginx.nginx /data
4. 啓動nfs服務
/etc/init.d/rpcbind start
/etc/init.d/nfs start
至此，NFS安裝完畢，下面安裝heartbeat
1. 安裝heartbeat
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo
yum repolist
yum install -y heartbeat
2. 將默認的配置文件拷貝至/etc/ha.d/並作更改
修改第一個配置文件：/etc/ha.d/ha.cf
cat >/etc/ha.d/ha.cf<<EOF logfile /var/log/ha-log logfacility local0 keepalive 2 deadtime 30 warntime 10 initdead 60 mcast eth0 225.0.0.31 694 1 0 auto_failback on node nfs node nfs-s EOF
修改第二個配置文件：/etc/ha.d/authkeys
cat >/etc/ha.d/authkeys <<EOF auth 1 1 sha1 c4f9375f9834b4e7f0a528cc65c055702bf5f24a EOF
chmod 600 /etc/ha.d/authkeys
修改第三個配置文件：/etc/ha.d/haresources
cat >/etc/ha.d/haresources<<EOF nfs 10.0.0.30 drbddisk::r0 Filesystem::/dev/drbd0::/data::ext4 nfs EOF
3. 啓動heartbeat
/etc/init.d/heartbeat start
至此，NFS+DRBD+HEARTBEAT高可用存儲搭建完畢！