通过GlusterFS黏合多节点SSD剩余空间 顶 原

固态盘（SSD）的速度比机械硬盘快很多（400MB/s～1.7GB/s），但是价格昂贵，所以往往容量比较小。通过GlusterFS可以把多节点SSD黏合为一块大的网络SSD，可以在局域网上任意节点上连接使用，从而更方便使用，大幅度提高SSD的使用效率，提升系统速度、降低总体成本。

• 建议使用多口的万兆网络，否则网络会成为GlusterFS传输的瓶颈。
• 带宽计算参考：一般带宽使用bps计算，标称带宽*80%/8为以Byte计算的带宽。
  • 如10Gbps网络，实际传输速度大概为1GB/s。
  • Intel 760P写入速度大概1.4GB/s，Samsung 960P写入速度大约1.7GB/s。
  • 同一个盘同时读写，速度至少减半。

这里使用的系统为Ubuntu18.04.1 LTS版本，下面是对实验过程的一些记录。

1、安装支持软件

安装软件：

#安装ZFS系统
sudo apt install zfsutils-linux

#安装GlusterFS系统
sudo apt install glusterfs-server

在所有节点上安装上面的软件，也可以通过ansible来批量完成。

在每个节点创建好zfs的存储池zpool，如：sudo zpool create zpool /dev/sda /dev/sdb /dev/sdc，更多的设置模式参见：

• ZFS的配置参见 ZFS快速安装和性能测试 。

然后在每个节点上添加存储的对端节点，如下（假设操作服务器为server1）：

gluster peer probe server2
gluster peer probe server3

然后，确认一下设置是否成功：

gluster peer status

• GlusterFS的配置参见 安装 GlusterFS - 快速开始 。

2、创建三种GlusterFS卷

主要创建分布式卷、条带卷、副本卷三种进行测试。

• 分布式卷，将不同文件分别放到不同的节点文件夹中，可以获得一个虚拟的“大”硬盘。
  • 比如，我这三个节点分别有2T、2T、1T的空间，最后可以得到5T的GlusterFS虚拟卷。
  • 对单个文件的读写是由单节点完成，性能受制于该选中节点的最大速度。
  • 节点之间没有镜像等容错，建议节点内设置RAID1/5等容错机制。
• 条带卷，将同一个文件分带存放到不同节点文件夹，容量加合可以获得“大”硬盘，可以并行地对条带读写，适合大文件。
• 副本卷，将同一个文件在多个节点上覆制，可以提升可靠性和读取性能，写入性能比单节点略有降低。
• 还有一些其它的的卷类型（比如副本+条带），这里暂不做测试。

脚本命令如下：

echo "创建分布式卷gvx"
gluster volume create gvx \
server1:/home/supermap/gvx \
server2:/home/supermap/gvx \
server3:/home/supermap/gvx

echo "创建条带卷gvxs"
gluster volume create gvxs strip 3 \
server1:/home/supermap/gvxs \
server2:/home/supermap/gvxs \
server3:/home/supermap/gvxs

echo "创建分布式卷gvxr"
gluster volume create gvx0 replica 3 \
server1:/home/supermap/gvx \
server2:/home/supermap/gvx \
server3:/home/supermap/gvx

echo "启动卷gvx gvxs gvxr"
gluster volume start gvx gvxs gvxr

echo "当前Gluster的卷信息："
gluster volume info

3、挂载GlusterFS卷

可以从任意一个节点挂载GlusterFS网络卷。如下：

echo "挂载分布式卷/home/supermap/gvxv"
mkdir /home/supermap/gvxv
mount -t glusterfs server1:/gvx /home/supermap/gvxv

echo "挂载条带卷/home/supermap/gvxsv"
mkdir /home/supermap/gvxsv
mount -t glusterfs server1:/gvxs /home/supermap/gvxsv

echo "挂载副本卷/home/supermap/gvxrv"
mkdir /home/supermap/gvxrv
mount -t glusterfs server1:/gvxr /home/supermap/gvxrv

使用命令 ls -l 查看目录信息，df -h查看挂载卷的信息。

• 注意：显示的每个卷容量是共享的最大容量，系统并没有所显示的加和总容量。

4、性能简单测试

使用dd进行简单的测试，如下：

echo "=============================================="
echo "测试分布式SSD，基于GlusterFS。"

echo "================="
echo "测试分布式卷gvxv"
echo "写入："
sudo dd if=/dev/zero of=/home/supermap/gvxv/testx.img bs=1M count=20480
echo "复制："
sudo dd if=/home/supermap/gvxv/testx.img of=/home/supermap/gvxv/testx2.img bs=1M count=20480
echo "读取："
sudo dd if=/home/supermap/gvxv/testx2.img of=/dev/null bs=1M count=20480

echo "================="
echo "测试条带卷gvxsv"
echo "写入："
sudo dd if=/dev/zero of=/home/supermap/gvxsv/testx.img bs=1M count=20480
echo "复制："
sudo dd if=/home/supermap/gvxsv/testx.img of=/home/supermap/gvxsv/testx2.img bs=1M count=20480
echo "读取："
sudo dd if=/home/supermap/gvxsv/testx2.img of=/dev/null bs=1M count=20480

echo "================="
echo "测试复本卷gvxrv"
echo "写入："
sudo dd if=/dev/zero of=/home/supermap/gvxrv/testx.img bs=1M count=20480
echo "复制："
sudo dd if=/home/supermap/gvxrv/testx.img of=/home/supermap/gvxrv/testx2.img bs=1M count=20480
echo "读取："
sudo dd if=/home/supermap/gvxrv/testx2.img of=/dev/null bs=1M count=20480

echo "=============================================="
echo "Finished, by openthings"
echo "=============================================="

更细节的测试，可以使用pts，具体方法参见 Ubuntu测试-使用phoronix-test-suite 。

上面的方法也适用于其它磁盘，包括通过USB连接的外置磁盘盒。

• 对于机械硬盘建议使用ZFS或RAID工具建立条带或冗余机制，以加快性能和提升容错能力。