EMR:一體化Hadoop雲上工作平臺 頂 原

Hadoop生態體系日臻完善,如何利用Hadoop生態各項技術與阿里雲更好的服務於企業。EMR最新發布的工作流管理、彈性伸縮、異構計算多項功能,更好的助力用戶在阿里雲上利用Hadoop、Spark生態體系解決企業大數據問題。

EMR數據開發工作臺
EMR數據開發工作臺集成了作業編輯、工作編輯和臨時查詢等功能,能更好的滿足用戶雲上離線數據處理、數據分析和探索挖掘等場景。主要特點在於:

  1. 支持多樣化的大數據作業,支持shell,Hive,MapReduce,Spark,SparkStreaming等多種離線,實時類型作業,企業數據開發人員可在線編輯,調試。
  2. 更低的數據開發門檻,用戶通過拖拽式的大數據開發完成數據的接入,相較於Oozie、Azkaban等開源解決方案,運營人員,數據科學家可以更直觀的進行大數據開發。
  3. 交互式數據探索,爲用戶提供交互式Hive、SparkSQL查詢、分析,快速提取海量數據價值。

集羣彈性伸縮
EMR彈性伸縮能更好的縫合公有云計算資源彈性和Hadoop生態體系開放的兩大優勢,實現計算資源根據集羣繁忙程度彈性伸縮,幫助企業降低Hadoop資源的使用成本。

  1. 定時擴縮容集羣,用戶設置在制定時間對集羣進行擴容、縮容,滿足日報、週報、月報等需臨時追加計算資源的場景。
  2. 支持多種ECS實例,受ECS庫存影響,彈性伸縮會由於庫存不足造成執行失敗,爲提升伸縮動作執行成功概率,彈性伸縮可同時支持多種ECS實例,且能一次性把儘量多的庫存資源全部買出,保證集羣資源。

EMR Learning
深度學習、AI以成爲目前炙手可熱的詞彙,EMR Learning將深度學習和開源大數據技術深度結合,提供一體化的大數據+深度學習服務。利用一個集羣,構建企業數據湖,同時進行機器學習和深度學習。

  1. 支持ECS CPU+GPU的異構計算,通過Hadoop YARN調度集羣GPU資源
  2. 支持Horvod,TensorFlow,SparkML等計算框架,一個集羣內進行機器學習和深度學習。
  3. 可採用PS、MPI等數據通信模式,解決深度學習的通信瓶頸
  4. 支持Docker,Muti-Env多運行環境隔離
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章