由于最新公司业务使用的NFS系统偶尔发生故障,恢复起来需要很多时间,于是学习了下文件系统,之前一直在做mfs的测试,但是由于mfs有单点故障的存在,也就放下了,希望以后mfs可以解决单点的问题,那就造福于大众了.
Glusterfs的简介:
GlusterFS是一个高层次的分布式文件系统解决方案.通过增加一个逻辑层，对上层使用者掩盖了下面的实现,使用者不用了解也不需知道,文件的存储形式、分布.内部实现是整合了许多存储块（server）通过Infiniband RDMA 或者Tcp/Ip方式互联的一个并行的网络文件系统,这样的许多存储块可以通过许多廉价的x86 主机,通过网络搭建起来.
采用这种方式的理由:
由于glusterfs文件系统可以采用多种模式,之前做了cluster/Replicate,但是经过读写性能测试,发现写操作不是很理想,虽然可以确保数据的完整性和防止单点故障.于是有了标题这个方式,既可以确保读写速度又可以确保数据完整性和防止单点故障.利用heartbeat来检测2个主机的存活,glusterfs磁盘挂载的切换.
网络拓扑:
说明:由于drbd同步机制只允许在一个服务器上进行磁盘的挂载,另外一个服务器不允许再进行挂载,否则导致同步失败.为了避免master节点down机之后 ,还需要手动去slave节点上进行手动挂载,在此时间内客户端无法正常的读写数据,这里利用heartbeat来自动进行磁盘挂载切换工作,当master节点down机,它会把磁盘资源释放到slave文件服务器,切换工作仅仅需要10秒左右的时间,大大的提高了故障恢复相应时间.由于heartbeat不能对服务项进行检测,于是又写了moniter脚本来弥补这个缺陷.
测试环境
OS平台：
REDHAT AS 5.1
Ip地址规划:
192.168.0.59 glusterfs-1 drbd-1
192.168.0.60 glusterfs-2 drbd-2
磁盘规划:
Sda:安装相关的安装包
Sdb:用来做drbd的同步
Sofrware:
fuse-2.8.3.tar.gz
glusterfs-3.0.3.tar.gz
drbd-8.3.5.tar.gz
libnet-1.1.2.1.tar.gz
heartbeat-2.0.7.tar.gz
安装相关的包
//在2个server节点都安装glusterfs和drbd,由于glusterfs使用到了fuse模块,所以需要先安装FUSE.
#tar zxvf fuse-2.8.3.tar.gz
#cd fuse-2.8.3
#./configure -enable-dependency-tracking -enable-lib -enable-util
#make && make install
#tar zxvf glusterfs-3.0.3.tar.gz
#cd glusterfs-3.0.3
#./configure
#make && make install
#tar zxvf drbd-8.3.5.tar.gz
#cd drbd-8.3.5
#make && make install
#tar zxvf libnet-1.1.2.1.tar.gz
#cd libnet
#./configure
#make && make install
#tar zxvf heartbeat-2.0.7.tar.gz
#cd heartbeat-2.0.7
# ./ConfigureMe configure --disable-swig --disable-snmp-subagent
#make && make install
相关文件的配置
//在2个节点上添加如下的hosts.
# vi hosts
192.168.0.59 drbd-1
192.168.0.60 drbd-2
//配置master节点的glusterfs配置文件
#cd /usr/local/etc/glusterfs
#cp glusterfsd.vol.sample glusterfsd.vol
#vi glusterfsd.vol //配置如下
### Export volume "brick" with the contents of "/home/export" directory.
volume brick
type storage/posix # POSIX FS translator
option directory /home/gluster # Export this directory
end-volume
volume locker
type features/locks
subvolumes brick
end-volume
volume bricks
type performance/io-threads
option thread-count 50 //开启50个线程
subvolumes locker
end-volume
### Add network serving capability to above brick.
volume server
type protocol/server
option transport-type tcp/server
option listen-port 6996 # Default is 6996
subvolumes locker
option auth.addr.bricks.allow *
option auth.addr.locker.allow *
end-volume
//配置slave节点的glusterfs配置文件
### Export volume "brick" with the contents of "/home/export" directory.
volume brick
type storage/posix # POSIX FS translator
option directory /home/gluster # Export this directory
end-volume
volume locker
type features/posix-locks
subvolumes brick
end-volume
volume bricks
type performance/io-threads
option thread-count 50 //开启50个线程
subvolumes locker
end-volume
### Add network serving capability to above brick.
volume server
type protocol/server
option transport-type tcp/server
option listen-port 6996
subvolumes locker
option auth.addr.bricks.allow *
option auth.addr.locker.allow *
end-volume
//在2个节点上执行下面的命令,启动server端的服务
#gluster –f /usr/loca/etc/gluster/glusterfd.vol
//配置drbd的配置文件,2个节点的配置相同
common {
syncer { rate 100M; } //限制流量
}
resource db {
protocol C; //使用C协议
disk {
on-io-error detach;
}
on drbd-1 { //drbd-1为第一台机器的机器名
device /dev/drbd0; //创建的虚拟资源
disk /dev/sdb1; //实际的物理分区
address 192.168.0.59:7788; //第一台机器的ip地址,及通讯端口
meta-disk internal; //类型,局域网
}
on drbd-2 {
device /dev/drbd0;
disk /dev/sdb1;
address 192.168.1.60:7788;
meta-disk internal;
}
}
//在2个节点上执行如下命令, 创建相应的元数据保存的数据块
#modprobe /lib/modules/2.6.18-53.el5/kernel/drivers/block/drbd.ko
#lsmod |grep drbd //drbd模块是否加载成功
//由于我这里是有数据的,先要保存下数据.
drbd-1 # dd if=/dev/sdb1 of=/root/backup bs=500M count=1 //这里要根据自己的数据
大小进行修改.
#drbdadm create-md db //在2个主机上的 /dev/sdb1 分区上创建相应的元数据保存的数据块
#/etc/init.d/drbd start
#chkconfig drbd on
# ps aux | grep drbd
avahi 2239 0.0 1.1 2552 1384 ? Ss 19:38 0:00 avahi-daemon: running [drbd-1.local]
root 2702 0.0 0.0 0 0 ? S 20:32 0:00 [drbd1_worker]
root 2715 0.0 0.0 0 0 ? S 20:32 0:00 [drbd1_receiver]
root 2726 0.0 0.0 0 0 ? S 20:32 0:00 [drbd1_asender]
//如果看到这4个进程就说明drbd启动正常. drbd0_worker是drbd0的主要进程drbd0_asender是primary上drbd0的数据发送进程,drbd0_receiver是secondary上drbd0的数据接收进程.