AWS EMR Vs HDInsight Vs Aliyun Cloud E-MapReduce之架構篇
從大數據的架構上,我們可以看出AWS EMR和Aliyun Cloud E-MapReduce蠻像的,HDInsight則有些不同。
HDI的節點功能介紹:
Head nodes:一共兩臺,可提供高可用性。HDFS,Yarn的服務都跑在主節點上,其它服務,比如HiveServer2, Hive Metastore跑在兩臺頭節點上。
Worker nodes:提供數據分析的節點,如果一臺節點掉線,那麼計算任務就可以遷移到另一臺節點上。
Zookeeper nodes:主要是告訴gateway, worker nodes主節點在哪裏。
Gateway nodes:安全的考慮。用戶沒有訪問權。
Edge nodes: 可以把它看作是一個submit job的客戶端。
AWS EMR的節點功能介紹:
Master Node:HDFS,Yarn的服務都跑在其上。Amazon EMR 5.23.0以上,可以支持三臺高可用性。
Core Nodes:Data Node daemon用來協調HDFS數據存儲的部分,Task Tracker daemon用來計算。
Task Nodes:主要是用來計算,沒有Data Node daemon。
Aliyun Cloud E-MapReduce的節點功能介紹:
基本上和AWS EMR差不多。
以上可以看出Micrsoft HDInsight/AWS EMR/Aliyun Cloud E-MapReduce的主節點都是hadoop的namenode,就datanode不一樣吧,同時微軟添加了其它節點,比如ZK,Edge。