Lustre 組件

Lustre 組件


Luster軟件的安裝包括管理服務器(MGS)和與Luster網絡(LNet)互連的一個或多個Luster文件系統。
Luster文件系統組件的基本配置在“基本集羣中的Lustre文件系統組件”中顯示。
基本集羣中的Lustre文件系統組件

Lustre基本組件

管理服務器(MGS)

MGS存儲羣集中所有Lustre文件系統的配置信息,並將此信息提供給其他Lustre組件。每個Lustre目標都與MGS聯繫以提供信息,而Lustre客戶則與MGS聯繫以檢索信息。
MGS最好有自己的存儲空間,以便可以獨立管理。但是,MGS可以位於同一位置並與MDS共享存儲空間,如圖1.1“基本集羣中的Lustre文件系統組件”所示。

Lustre 文件系統組件

每個Lustre文件系統均包含以下組件:

  • 元數據服務器(MDS)
    MDS使存儲在一個或多個MDT中的元數據可供Luster客戶端使用。每個MDS管理Lustre文件系統中的名稱和目錄,併爲一個或多個本地MDT提供網絡請求處理。

  • 元數據目標(MDT)
    每個文件系統都有至少一個MDT。MDT在附加到MDS的存儲上存儲元數據(例如文件名,目錄,權限和文件佈局)。每個文件系統都有一個MDT。共享存儲目標上的MDT可以供多個MDS使用,儘管一次只能訪問一個。如果活動MDS失敗,則備用MDS可以爲MDT提供服務,並將其提供給客戶端。這稱爲MDS故障轉移。
    分佈式命名空間環境(DNE)中支持多個MDT。除了保存文件系統根目錄的主MDT之外,還可以添加其他MDS節點(每個都有自己的MDT)來保存文件系統的子目錄樹。

  • 對象存儲服務器(OSS):OSS爲一個或多個本地OST提供文件I / O服務和網絡請求處理。通常,一個OSS服務2到8個OST,每個OST最多16 TiB。典型的配置是專用節點上的MDT,每個OSS節點上的兩個或更多OST,以及大量計算節點中的每一個上的客戶端。

  • 對象存儲目標(OST):用戶文件數據存儲在一個或多個對象中,每個對象位於Lustre文件系統中的單獨OST上。每個文件的對象數可由用戶配置,並可進行調整以優化給定工作負載的性能。

  • Lustre客戶端:Lustre客戶端是運行Lustre客戶端軟件的計算節點,可視化節點或桌面節點,允許它們安裝Lustre文件系統。

    Luster客戶端軟件提供了Linux虛擬文件系統和Luster服務器之間的接口。客戶端軟件包括管理客戶端(MGC),元數據客戶端(MDC)和多個對象存儲客戶端(OSC),其中一個對應於文件系統中的每個OST。
    邏輯對象卷(LOV)聚集OSC,以提供跨所有OST的透明訪問。因此,安裝了Lustre文件系統的客戶端將看到一個單一的,一致的,同步的名稱空間。多個客戶端可以同時寫入同一文件的不同部分,而其他客戶端可以同時從該文件讀取。
    邏輯元數據卷(LMV)聚集MDC,從而以與LOV文件訪問相似的方式提供對所有MDT的透明訪問。這允許客戶端將多個MDT上的目錄樹視爲單個一致的名稱空間,並且條帶化目錄在客戶端上合併以形成用戶和應用程序的單個可見目錄。

表“ Lustre文件系統組件的存儲和硬件要求”規定了每個Lustre文件系統組件對附加存儲的要求,並描述了所用硬件的理想特性。

**Lustre文件系統組件的存儲和硬件要求**
必需的附加存儲 理想的硬件特性
MDSs 文件系統容量的1-2% 足夠的CPU能力,足夠的內存和快速的磁盤存儲。
OSSs 每個OST 1-128 TiB,每個OSS 1-8 OST 良好的總線帶寬。建議在OSS之間均勻地平衡存儲,並與網絡帶寬匹配。
Clients 無需本地存儲 低延遲,高帶寬網絡

Lustre 網絡 (LNet)

Luster網絡(LNet)是一個自定義網絡API,它提供了通信基礎結構,該基礎結構處理Lustre文件系統服務器和客戶端的元數據和文件I / O數據。有關LNet的更多信息,請參見第2章,瞭解Lustre網絡(LNet)。

Lustre 集羣

大規模的Lustre文件系統集羣可以包括數百個OSS和數千個客戶端(請參見圖1.2,“大規模的Lustre集羣”)。Lustre羣集中可以使用多種類型的網絡。OSS之間的共享存儲可實現故障轉移功能。有關OSS故障轉移的更多詳細信息,請參見第3章,瞭解Lustre文件系統中的故障轉移。

Lustre 大規模集羣

在這裏插入圖片描述

Lustre 客戶端請求文件數據

在這裏插入圖片描述

Lustre 條帶

在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章