1、mfs(mooseFS):
分佈式文件系統,文件系統管理的物理資源存儲在不同的節點上,通過計算機網絡與節點相連。具有容錯、高可用性,可擴展的海量存儲等特性。
mfs好處:集中訪問,簡化操作,數據容災,提高文件存取性能。
2、mfs原理:
1)、mfs文件系統組成:
元數據服務器(master):管理文件系統,維護元數據
元數據日誌服務器(metalogger):備份master的日誌變化,文件類型爲changelog_ml..mfs,master數據損壞時可以通過日誌服務器恢復。
元數據存儲服務器(chunk sever):真正存儲數據的服務器,分塊保存並同步到其他服務器。
客戶端(client):像掛載NFS一樣掛載mfs文件系統。
2)mfs讀取數據的處理過程:
client向master發出讀請求
master把所需數據存放位置(chunk server的IP地址和chunk編號)告知client
client向已知clunk server請求發送數據
clunk向客戶端發送數據
3、master配置:
配置文件mfsmaster.cfg(主配置文件)和mfsexports.cfg(被掛載目錄及權限配置文件)
mfsmaster.cfg配置文件:
定義了是三個端口:9416/tcp:metalogger監聽端口
9420/tcp:chunkserver監聽端口
9421/tcp:client連接端口
mfsexport.cfg文件格式: 客戶端地址 被掛載目錄 客戶端權限
客戶端地址:可以爲任意ip,單個ip,網段、地址範圍
權限: ro 只讀 rw讀寫 alldirs可掛載任意目錄
maproot隱射爲root用戶 password指定密碼
4、metalogger配置:
配置文件mfsmetatlogger.cfg,指定master服務器地址
5、chunkserver配置:
配置文件mfschunkserver.cfg,mfshdd.cfg,指定master服務器ip地址和mfs提供存儲的分區掛載目錄。
6、client配置:mfsclient依賴於fuse內核模塊,所以要安裝fuse軟件包。
直接使用mfsmount掛載master服務器即可:
/usr/local/mfs/bin/mfsmount /mnt/mfs -H 192.168.1.100
7、MFS常見操作:
mfsgetgoal:查看文件被複制的份數
mfssetgoal:設置文件被複制的份數,一般不大於chunkserver數量
mfscgiserv:可在master服務器上啓動的用python寫的MFS監控服務器,端口9425
8、mfs集羣的啓動順序:master-chunkserver-metalogger-client start 啓動
停止順序:client-chunserver-metalogger-master, -s 參數爲停止
9、災難恢復:
1)master服務器不可以直接斷電,如未按順序停止集羣會出現不可再啓動的情況,
可通過mfsmetarestore -a 修復。
2)如master服務器完全宕機可能再啓動了,可以通過將metalogger服務器上日誌複製到新master服務器上合併數據的方式修復。
MFS分佈式文件系統
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
Nacos系列:Nacos的三種部署模式
知行旅人
2019-02-23 17:55:08
RestFul服務介紹
qq59cc72a7f25e5
2019-02-23 13:09:19
細說微服務架構的優勢與不足那點事
qq593e3b758e013
2019-02-23 12:55:03
mongodb分佈式集羣架構
chensanxin
2019-02-23 00:31:06
分佈式系統關注點——僅需這一篇,吃透「負載均衡」妥妥的
Zachary_Fan
2019-02-23 00:21:39
分佈式系統關注點——「無狀態」詳解
Zachary_Fan
2019-02-23 00:21:39
分佈式系統關注點——初識「高可用」
Zachary_Fan
2019-02-23 00:21:39
如何通過 Scrapyd + ScrapydWeb 簡單高效地部署和監控分佈式爬蟲項目
my8100
2019-02-23 00:16:58
分佈式之數據庫和緩存雙寫一致性方案解析
孤獨煙
2019-02-23 00:15:25
大數據學習、工作過程中最容易掉入的十大天坑!你中招了嗎?
大數據風風
2019-02-23 00:13:10
MFS分佈式文件系統
孫瑞瑞
2019-02-23 00:43:25
TpsFs目錄索引
jiangheng12138
2019-02-23 00:36:14
Web集羣之NFS
JasonMingHao
2019-02-23 00:28:37
FAT32文件系統一此關鍵參數
ribut9225
2019-02-23 00:19:23