大數據常用的調度框架及其對比

幾種調度系統簡單對比:


Oozie 目前是託管在 Apache 基金會的,開源。通過 XML 文件來定義 DAG依賴,作業配置複雜。
Airflow 目前是託管在 Apache 基金會的,開源。python 語言開發,通過 python腳本配置作業,學習成本較高。
Zeus 阿里開源的基於 Hadoop 平臺的開源工作流調度系統,文檔缺少,目前不再維護。
Rundeck 單機部署,分佈式指令,沒有清晰的作業 DAG 圖。
Azkaban 由 Linkedin 公司推出的一個批量工作流任務調度器,通過 KV 文件格式來建立任務之間的依賴關係 。

Azkaban 優勢:


提供功能清晰,簡單易用的 Web UI 界面;
作業配置簡單,任務作業依賴關係清晰;
提供可擴展的組件,原生支持 command、Java、Hive、Pig、Hadoop;
基於 Java 語言開發,易於二次開發。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章