HDFS架構的基本認知

版權聲明：未經允許，隨意轉載，請附上本文鏈接謝謝（づ￣3￣）づ╭❤～
https://blog.csdn.net/xiaoduan_/article/details/79687600

HDFS架構的基本認知

• 1 Master(NameNode/NN) 帶 N個Slaves(DataNode/DN)
  HDFS/YARN/HBase也都是採用這種方式

• 1個文件會被拆分成多個Block
  blocksize：128M 可以自設置CDH默認是128M
  130M ==> 2個Block： 128M 和 2M

• NN：
  1）負責客戶端請求的響應
  2）負責元數據（文件的名稱、副本系數、Block存放的DN）的管理

• DN：
  1）存儲用戶的文件對應的數據塊(Block)
  2）要定期向NN發送心跳信息，彙報本身及其所有的block信息，健康狀況

引用Hadoop官網

A typical deployment has a dedicated machine that runs only the NameNode software.
Each of the other machines in the cluster runs one instance of the DataNode software.
The architecture does not preclude running multiple DataNodes on the same machine
but in a real deployment that is rarely the case.
一個典型的架構就是
一個NameNode + N個DataNode
建議：NN和DN是部署在不同的節點上

• replication factor：副本系數、副本因子

All blocks in a file except the last block are the same size
除了最後一個block 其他的block大小都是一樣的