1.NN+SN
2.NN + NN 模式:
2.HA
core-site.xml
hdfs-site.xml
來算一下至少要幾臺機器:
首先 :Active NN Standby NN
zkfc1 zkfc2
datanode1(至少一個)
zookeeper 至少3個,因爲1個不算集羣,兩個不合適,奇數個,
nn1 nn2
zkfc1 zkfc2
zk1 zk2 zk3
jn1 jn2 jn3
dn1
1 / namenode zkfc
2 / namenode zkfc
3 / resourcemanager
4 / resourcemanager
5 / zookeeper journalnode datanode nodemanager
6 / zookeeper journalnode datanode nodemanager
7 / zookeeper journalnode datanode nodemanager
datanode和NodeManager通常要放在一起,爲甚?因爲我們有個理念叫移動計算,不移動數據,NodeManager是管計算的,你在DataNode上就有計算的節點的話,我的那些運算邏輯儘量從本地取邏輯