HDFS的副本機制和機架感知

HDFS文件副本機制: 

所有的文件都是以block快的方式存放在HDFS文件系統當中,作用如下:

  1.  一個文件有可能大於集羣中任意一個磁盤,引入 塊機制,可以很好的解決這個問題
  2. 使用塊作爲文件存儲的邏輯單位可以簡化存儲子系統
  3. 快非常適合用於數據備份進而提供數據容錯能力
  4. Hadoop1當中,文件的block快默認大小是64M,hadoop2當中,文件的block塊大小默認是128M,block塊的大小可以通過hdfs-site.xml當中的配置文件進行指定。

<property>
<name>dfs.block.size</name>
<value>塊大小 以字節爲單位</value>
</property>
 

機架感知:
 

hdfs分佈式文件系統的內部有一個副本存放策略:以默認的副本數=3爲例:

  1. 第一個副本塊存本機
  2. 第二個副本塊存跟本機同機架內的其他服務器節點
  3. 第三個副本塊存不同機架的服務器節點上

 

 

 

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章