HDFS文件副本機制:
所有的文件都是以block快的方式存放在HDFS文件系統當中,作用如下:
- 一個文件有可能大於集羣中任意一個磁盤,引入 塊機制,可以很好的解決這個問題
- 使用塊作爲文件存儲的邏輯單位可以簡化存儲子系統
- 快非常適合用於數據備份進而提供數據容錯能力
- Hadoop1當中,文件的block快默認大小是64M,hadoop2當中,文件的block塊大小默認是128M,block塊的大小可以通過hdfs-site.xml當中的配置文件進行指定。
<property>
<name>dfs.block.size</name>
<value>塊大小 以字節爲單位</value>
</property>
機架感知:
hdfs分佈式文件系統的內部有一個副本存放策略:以默認的副本數=3爲例:
- 第一個副本塊存本機
- 第二個副本塊存跟本機同機架內的其他服務器節點
- 第三個副本塊存不同機架的服務器節點上