HDFS原理(筆記二)

1,HDFS集羣存儲流程圖

在這裏插入圖片描述
流程圖解析
1,系統啓動過程步驟
①當集羣啓動時,DN向NN發送一些信息(Block的位置信息、每一個DN的位置信息、DN的心跳信息(DNID)等)
②客戶端彙報當前要上傳的文件信息(block數量、文件的上傳時間、權限、擁有者)
③NameNode向客戶端發送ID號、請求存放block的位置
④客戶端根據ID號和block的位置進行存儲

安全模式
1,加載fsimage,加載到內存中
2,如果edits文件不爲空,那麼namenode自己來合併
3,檢查DN的健康情況
4,如果有DN掛掉了,指揮做備份

問題:
處於安全模式的過程中,能比能讀文件內容?
如果fsimage已經加載到內存中,可以查看到文件目錄,但無法讀取。

切割文件
切割大文件時,採用的是按字節進行切割,切成一個個的block

並行處理
block和備份向DataNode 進行存儲時,我們採用的是管道形式,客戶端將一個block打成一個個的數據包(packet)源源不斷地向DateNode的管道進行發送,那麼同一管道的DataNode就可以同時存儲一個block了。
權限
權限控制依賴linux系統的用戶系統(默認權限)

機架的概念
機架是用來存放管理服務器的,一般來說一個機架上存放10臺服務器

2,搭建集羣

角色=進程

搭建集羣的模式有三種
1,僞分佈式
在一臺服務器上,啓動多個進程,分別表示各個角色
2,完全分佈式
在多臺服務器上,每臺服務器啓動不同角色的進程,使用多臺服務器組成HDFS集羣
node01:namenode
node02:secondarynamenode datanode
node03:datanode
node04:datanoode

注意:block副本數+自己本身<=datanode節點數

3,高可用性的完全分佈式
node01:namenode
node02:secondarynamenode datanode
node03:datanode namenode
node04:datanode

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章