Lustre 组件

Lustre 组件


Luster软件的安装包括管理服务器(MGS)和与Luster网络(LNet)互连的一个或多个Luster文件系统。
Luster文件系统组件的基本配置在“基本集群中的Lustre文件系统组件”中显示。
基本集群中的Lustre文件系统组件

Lustre基本组件

管理服务器(MGS)

MGS存储群集中所有Lustre文件系统的配置信息,并将此信息提供给其他Lustre组件。每个Lustre目标都与MGS联系以提供信息,而Lustre客户则与MGS联系以检索信息。
MGS最好有自己的存储空间,以便可以独立管理。但是,MGS可以位于同一位置并与MDS共享存储空间,如图1.1“基本集群中的Lustre文件系统组件”所示。

Lustre 文件系统组件

每个Lustre文件系统均包含以下组件:

  • 元数据服务器(MDS)
    MDS使存储在一个或多个MDT中的元数据可供Luster客户端使用。每个MDS管理Lustre文件系统中的名称和目录,并为一个或多个本地MDT提供网络请求处理。

  • 元数据目标(MDT)
    每个文件系统都有至少一个MDT。MDT在附加到MDS的存储上存储元数据(例如文件名,目录,权限和文件布局)。每个文件系统都有一个MDT。共享存储目标上的MDT可以供多个MDS使用,尽管一次只能访问一个。如果活动MDS失败,则备用MDS可以为MDT提供服务,并将其提供给客户端。这称为MDS故障转移。
    分布式命名空间环境(DNE)中支持多个MDT。除了保存文件系统根目录的主MDT之外,还可以添加其他MDS节点(每个都有自己的MDT)来保存文件系统的子目录树。

  • 对象存储服务器(OSS):OSS为一个或多个本地OST提供文件I / O服务和网络请求处理。通常,一个OSS服务2到8个OST,每个OST最多16 TiB。典型的配置是专用节点上的MDT,每个OSS节点上的两个或更多OST,以及大量计算节点中的每一个上的客户端。

  • 对象存储目标(OST):用户文件数据存储在一个或多个对象中,每个对象位于Lustre文件系统中的单独OST上。每个文件的对象数可由用户配置,并可进行调整以优化给定工作负载的性能。

  • Lustre客户端:Lustre客户端是运行Lustre客户端软件的计算节点,可视化节点或桌面节点,允许它们安装Lustre文件系统。

    Luster客户端软件提供了Linux虚拟文件系统和Luster服务器之间的接口。客户端软件包括管理客户端(MGC),元数据客户端(MDC)和多个对象存储客户端(OSC),其中一个对应于文件系统中的每个OST。
    逻辑对象卷(LOV)聚集OSC,以提供跨所有OST的透明访问。因此,安装了Lustre文件系统的客户端将看到一个单一的,一致的,同步的名称空间。多个客户端可以同时写入同一文件的不同部分,而其他客户端可以同时从该文件读取。
    逻辑元数据卷(LMV)聚集MDC,从而以与LOV文件访问相似的方式提供对所有MDT的透明访问。这允许客户端将多个MDT上的目录树视为单个一致的名称空间,并且条带化目录在客户端上合并以形成用户和应用程序的单个可见目录。

表“ Lustre文件系统组件的存储和硬件要求”规定了每个Lustre文件系统组件对附加存储的要求,并描述了所用硬件的理想特性。

**Lustre文件系统组件的存储和硬件要求**
必需的附加存储 理想的硬件特性
MDSs 文件系统容量的1-2% 足够的CPU能力,足够的内存和快速的磁盘存储。
OSSs 每个OST 1-128 TiB,每个OSS 1-8 OST 良好的总线带宽。建议在OSS之间均匀地平衡存储,并与网络带宽匹配。
Clients 无需本地存储 低延迟,高带宽网络

Lustre 网络 (LNet)

Luster网络(LNet)是一个自定义网络API,它提供了通信基础结构,该基础结构处理Lustre文件系统服务器和客户端的元数据和文件I / O数据。有关LNet的更多信息,请参见第2章,了解Lustre网络(LNet)。

Lustre 集群

大规模的Lustre文件系统集群可以包括数百个OSS和数千个客户端(请参见图1.2,“大规模的Lustre集群”)。Lustre群集中可以使用多种类型的网络。OSS之间的共享存储可实现故障转移功能。有关OSS故障转移的更多详细信息,请参见第3章,了解Lustre文件系统中的故障转移。

Lustre 大规模集群

在这里插入图片描述

Lustre 客户端请求文件数据

在这里插入图片描述

Lustre 条带

在这里插入图片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章