第五節課 第一階段總結

我們在前面四節課,簡單的介紹了hadoop及hdfs文件系統,所講的內容如下圖:

在上圖中,我們有沒有涉及到的知識,如:hdfs安全模式等,需要大家自行上網查找一下相關的知識點。

最後,通過第一階段的學習,我們最基本的應該掌握以下內容,請大家動手試一試:

  1. 基本的hdfs命令練習。

  2. 自主完成hdfs文件刪除操作

  3. 自主完成hdfs文件重命名操作

補充知識點:

1、NameNode和SecondaryNameNode功能剖析

1. namenode與secondaryName解析

  • NameNode主要負責集羣當中的元數據信息管理,而且元數據信息需要經常隨機訪問,因爲元數據信息必須高效的檢索

    • 元數據信息保存在哪裏能夠==快速檢索==呢?

    • 如何保證元數據的持久==安全==呢?

  • 爲了保證元數據信息的快速檢索,那麼我們就必須將元數據存==放在內存==當中,因爲在內存當中元數據信息能夠最快速的檢索,那麼隨着元數據信息的增多(每個block塊大概佔用150字節的元數據信息),內存的消耗也會越來越多。(還記得第二節課中我們講到, 爲什麼我們不能通過修改配置文件,來讓HDFS適用於存儲小文件嗎,就是因爲大量的小文件,每個小文件都會有元數據信息,內存的消耗與管理的文件性價比不高。 

  • 如果所有的元數據信息都存放內存,服務器斷電,內存當中所有數據都消失,爲了保證元數據的==安全持久==,元數據信息必須做可靠的持久化,在hadoop當中爲了持久化存儲元數據信息,將所有的元數據信息保存在了FSImage文件當中,那麼FSImage隨着時間推移,必然越來越膨脹,FSImage的操作變得越來越難,爲了解決元數據信息的增刪改,hadoop當中還引入了元數據操作日誌edits文件,edits文件記錄了客戶端操作元數據的信息,隨着時間的推移,edits信息也會越來越大,爲了解決edits文件膨脹的問題,hadoop當中引入了secondaryNamenode來專門做fsimage與edits文件的合併

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章