AWS EMR Vs HDInsight Vs Aliyun Cloud E-MapReduce之架构篇

AWS EMR Vs HDInsight Vs Aliyun Cloud E-MapReduce之架构篇

从大数据的架构上,我们可以看出AWS EMR和Aliyun Cloud E-MapReduce蛮像的,HDInsight则有些不同。

HDI的节点功能介绍:

Head nodes:一共两台,可提供高可用性。HDFS,Yarn的服务都跑在主节点上,其它服务,比如HiveServer2, Hive Metastore跑在两台头节点上。

Worker nodes:提供数据分析的节点,如果一台节点掉线,那么计算任务就可以迁移到另一台节点上。

Zookeeper nodes:主要是告诉gateway, worker nodes主节点在哪里。

Gateway nodes:安全的考虑。用户没有访问权。

Edge nodes: 可以把它看作是一个submit job的客户端。

AWS EMR的节点功能介绍:

Master Node:HDFS,Yarn的服务都跑在其上。Amazon EMR 5.23.0以上,可以支持三台高可用性。

Core Nodes:Data Node daemon用来协调HDFS数据存储的部分,Task Tracker daemon用来计算。

Task Nodes:主要是用来计算,没有Data Node daemon。

Aliyun Cloud E-MapReduce的节点功能介绍:

基本上和AWS EMR差不多。

以上可以看出Micrsoft HDInsight/AWS EMR/Aliyun Cloud E-MapReduce的主节点都是hadoop的namenode,就datanode不一样吧,同时微软添加了其它节点,比如ZK,Edge。

在这里插入图片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章