深入浅出分布式文件存储系统之 Ceph 的实现

  深入浅出分布式文件存储系统之 Ceph 的实现

  一、何为分布式文件文件系统

  分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连,它的设计是基于客户端/服务器模式。

  如上图所示,应用服务器和文件服务器分别存在于网络当中,而这里的网络,可以是统一子网,也可以是不同子网。服务器对文件的存取,均在网络进行,这样就可以突破常用存储设备的容量限制。

  二、常用分布式文件系统的介绍

  1、Lustre

  lustre是一个大规模的、安全可靠的,具备高可用性的集群文件系统,它是由SUN公司开发和维护。该项目主要的目的就是开发下一代的集群文件系统,可以支持超过10000个节点,数以PB的数量存储系统。

  2、Hadoop

  hadoop不仅仅是一个用于存储的分布式文件系统,而其设计更是用来在由通用计算设备组成的大型集群上执行分布式应用的框架。目前主要应用于大数据、区块链等领域。

  3、FastDFS

  FastDFS是一个开源的分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务, 如相册网站,视频网站等等。

  4、Ceph

  Ceph是一个具有高扩展、高可用、高性能、可以提供对象存储、块存储、文件存储的分布式文件系统,它可以提供 PD 级别的存储空间,理论上说,是无上限的。

  三、Ceph 介绍

  Ceph是一个具有高扩展、高可用、高性能的分布式存储系统,根据场景划分可以将Ceph分为对象存储、块设备存储和文件系统服务。在虚拟化领域里,比较常用到的是Ceph的块设备存储,比如在OpenStack项目里,Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储。比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。

  Ceph相比其它存储的优势点在于它不单单是存储,同时还充分利用了存储节点上的计算能力,在存储每一个数据时,都会通过计算得出该数据存储的位置,尽量将数据分布均衡。同时由于Ceph本身的良好设计,采用了CRUSH算法、HASH环等方法,使得它不存在传统的单点故障的问题,且随着规模的扩大性能并不会受到影响。

  四、Ceph 构成

  Ceph的核心构成包括:Ceph OSD(对象存出设备)、Ceph Monitor(监视器) 、Ceph MSD(元数据服务器)、Object、PG、RADOS、Libradio、CRUSH、RDB、RGW、CephFS

  OSD:全称 Object Storage Device,真正存储数据的组件,一般来说每块参与存储的磁盘都需要一个 OSD 进程,如果一台服务器上又 10 块硬盘,那么该服务器上就会有 10 个 OSD 进程。

  MON:MON通过保存一系列集群状态 map 来监视集群的组件,使用 map 保存集群的状态,为了防止单点故障,因此 monitor 的服务器需要奇数台(大于等于 3 台),如果出现意见分歧,采用投票机制,少数服从多数。

  MDS:全称 Ceph Metadata Server,元数据服务器,只有 Ceph FS 需要它。

  Object:Ceph 最底层的存储单元是 Object 对象,每个 Object 包含元数据和原始数据。

  PG:全称 Placement Grouops,是一个逻辑的概念,一个PG包含多个OSD。引入PG这一层其实是为了更好的分配数据和定位数据。

  RADOS:全称Reliable Autonomic Distributed Object Store,是Ceph集群的精华,可靠自主分布式对象存储,它是 Ceph 存储的基础,保证一切都以对象形式存储。

  Libradio:Librados是Rados提供库,因为RADOS是协议很难直接访问,因此上层的RBD、RGW和CephFS都是通过librados访问的,目前仅提供PHP、Ruby、Java、Python、C和C++支持。

  CRUSH:是Ceph使用的数据分布算法,类似一致性哈希,让数据分配到预期的地方。

  RBD:全称 RADOS block device,它是 RADOS 块设备,对外提供块存储服务。

  RGW:全称 RADOS gateway,RADOS网关,提供对象存储,接口与 S3 和 Swift 兼容。

  CephFS:提供文件系统级别的存储。
沈阳包皮医院××× http://www.25259999.com/
 沈阳×××医院哪家比较好 http://www.024sysdnk.com/
 沈阳那家医院看×××比较好 http://www.sysdnk.com/

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章