AWS EMR Vs HDInsight Vs Aliyun Cloud E-MapReduce之架構篇

AWS EMR Vs HDInsight Vs Aliyun Cloud E-MapReduce之架構篇

從大數據的架構上,我們可以看出AWS EMR和Aliyun Cloud E-MapReduce蠻像的,HDInsight則有些不同。

HDI的節點功能介紹:

Head nodes:一共兩臺,可提供高可用性。HDFS,Yarn的服務都跑在主節點上,其它服務,比如HiveServer2, Hive Metastore跑在兩臺頭節點上。

Worker nodes:提供數據分析的節點,如果一臺節點掉線,那麼計算任務就可以遷移到另一臺節點上。

Zookeeper nodes:主要是告訴gateway, worker nodes主節點在哪裏。

Gateway nodes:安全的考慮。用戶沒有訪問權。

Edge nodes: 可以把它看作是一個submit job的客戶端。

AWS EMR的節點功能介紹:

Master Node:HDFS,Yarn的服務都跑在其上。Amazon EMR 5.23.0以上,可以支持三臺高可用性。

Core Nodes:Data Node daemon用來協調HDFS數據存儲的部分,Task Tracker daemon用來計算。

Task Nodes:主要是用來計算,沒有Data Node daemon。

Aliyun Cloud E-MapReduce的節點功能介紹:

基本上和AWS EMR差不多。

以上可以看出Micrsoft HDInsight/AWS EMR/Aliyun Cloud E-MapReduce的主節點都是hadoop的namenode,就datanode不一樣吧,同時微軟添加了其它節點,比如ZK,Edge。

在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章