一文告訴你什麼是E-MapReduce

雲棲號快速入門:【點擊查看更多雲產品快速入門】
不知道怎麼入門?這裏分分鐘解決新手入門等基礎問題,可快速完成產品配置操作!

阿里雲E-MapReduce(Elastic MapReduce),是運行在阿里雲平臺上的一種大數據處理的系統解決方案。

簡介

E-MapReduce構建於雲服務器ECS上,基於開源的Apache Hadoop和Apache Spark,讓您可以方便地使用Hadoop和Spark生態系統中的其他周邊系統(例如,Apache Hive、Apache Pig和HBase等)來分析和處理自己的數據。不僅如此,E-MapReduce還可以與阿里雲其他的雲數據存儲系統和數據庫系統(例如,阿里雲OSS和RDS等)進行數據傳輸。

9956BFF5_064A_4eee_8FF8_8D7302EBE206

E-MapReduce的用途

以往在使用Hadoop和Spark等分佈式處理系統時,您通常需要執行如下步驟。
image
在上述使用流程中,真正跟用戶的應用邏輯相關的是步驟8~10,而步驟1~7都是前期準備工作,但這些前期準備工作都非常冗長繁瑣。E-MapReduce提供了集羣管理工具的集成解決方案,例如,主機選型、環境部署、集羣搭建、集羣配置、集羣運行、作業配置、作業運行、集羣管理和性能監控等。通過E-MapReduce,您可以從繁瑣的集羣構建相關的採購、準備和運維等工作中解放出來,只關心自己應用程序的處理邏輯即可。

此外,E-MapReduce還爲您提供了靈活的搭配組合方式,您可以根據自己的業務特點選擇不同的集羣服務。例如,如果您的需求是對數據進行日常統計和簡單的批量運算,則可以只選擇在E-MapReduce中運行Hadoop服務;如果您有流式計算和實時計算的需求,則可以在Hadoop服務基礎上再加入Spark服務。

E-MapReduce的組成

E-MapReduce最核心也是用戶直接面對的組件是集羣。E-MapReduce集羣是由一個或多個阿里雲ECS實例組成的Hadoop和Spark集羣。以 Hadoop爲例,每個ECS Instance上通常都運行了一些daemon進程(例如,NameNode、DataNode、ResouceManager和NodeManager),這些daemon 進程共同組成了Hadoop集羣。其中運行NameNode和ResourceManager的節點稱爲Master節點,而運行DataNode和NodeManager的節點稱爲Slave節點。

例如,下圖是一個包含一個Master節點和三個Slave節點的E-MapReduce集羣。
image

本文來自 阿里雲文檔中心 什麼是E-MapReduce

【雲棲號在線課堂】每天都有產品技術專家分享!
課程地址:https://yqh.aliyun.com/zhibo

立即加入社羣,與專家面對面,及時瞭解課程最新動態!
【雲棲號在線課堂 社羣】https://c.tb.cn/F3.Z8gvnK

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章