glusterfs 分布式（复制模式） https://docs.gluster.org/en/latest/Quick-Start-Guide/Quickstart/
yum -y install centos-release-gluster
yum -y install glusterfs glusterfs-fuse glusterfs-server
#yum 安装
glusterfs -V
# 查看版本
systemctl enable glusterd
systemctl start glusterd
cat /etc/hosts
127.0.0.1 glusterfs-1
10.0.1.13 glusterfs-1
10.0.1.14 glusterfs-2
gluster peer probe glusterfs-1
gluster peer probe glusterfs-2
k8s 存储 persitent/Volumes pv （持久卷）抽象存储如 nfs cephfs,glusterd，支持权限控制 pvc （持久卷申请）会消耗 pv 的资源 pod 申请 pvc 作为卷来使用，这样集群只认 pv，不要管后端是什么存储 ip 和类型，管理更加简单。
数据盘
创建数据盘
mkfs.xfs -i size=512 /dev/sdb -f
mkdir -p /data/gfs
echo '/dev/sdb /data/gfs xfs defaults 1 2' >> /etc/fstab
mount -a && mount
mkdir /data/gfs/gv0
# 2台server建立子目录
gluster volume create gfs replica 2 glusterfs-1:/data/gfs/gv0 glusterfs-2:/data/gfs/gv0
# 创建网络磁盘
gluster volume info
gluster volume status
# 查看信息
gluster volume start gfs
# 启用gluster服务
客户端
yum install glusterfs-fuse
# 客户端安装
mount -t glusterfs glusterfs-1:gfs /mnt/
# 挂载
维护
移除节点:
gluster peer detach 10.0.21.242
启/停/删除卷
gluster volume start mamm-volume
gluster volume stop mamm-volume
gluster volume delete mamm-volume
GlusterFS卷类型及数据分布
基本卷：
(1) distribute volume：分布式卷
文件通过hash算法分布到所有brick server上，这种卷是glusterfs的基础和最大特点；实只是扩大的磁盘空间，如果有一个磁盘坏了，对应的数据也丢失，文件级RAID 0，不具有容错能力。
(2) stripe volume：条带卷
类似RAID0，文件分成数据块以Round Robin方式分布到brick server上，并发粒度是数据块，支持超大文件，大文件性能高；
(3) replica volume：复制卷
文件同步复制到多个brick上，文件级RAID 1，具有容错能力，写性能下降，读性能提升。
复合卷：
(4) distribute stripe volume：分布式条带卷
brickserver数量是条带数的倍数，兼具distribute和stripe卷的特点；
(5) distribute replica volume：分布式复制卷
brickserver数量是镜像数的倍数，兼具distribute和replica卷的特点,可以在2个或多个节点之间复制数据。
(6) stripe replica volume：条带复制卷
类似RAID 10
同时具有条带卷和复制卷的特点
(7) distribute stripe replicavolume：分布式条带复制卷
三种基本卷的复合卷
通常用于类Map Reduce应用