大数据常用的调度框架及其对比

几种调度系统简单对比:


Oozie 目前是托管在 Apache 基金会的,开源。通过 XML 文件来定义 DAG依赖,作业配置复杂。
Airflow 目前是托管在 Apache 基金会的,开源。python 语言开发,通过 python脚本配置作业,学习成本较高。
Zeus 阿里开源的基于 Hadoop 平台的开源工作流调度系统,文档缺少,目前不再维护。
Rundeck 单机部署,分布式指令,没有清晰的作业 DAG 图。
Azkaban 由 Linkedin 公司推出的一个批量工作流任务调度器,通过 KV 文件格式来建立任务之间的依赖关系 。

Azkaban 优势:


提供功能清晰,简单易用的 Web UI 界面;
作业配置简单,任务作业依赖关系清晰;
提供可扩展的组件,原生支持 command、Java、Hive、Pig、Hadoop;
基于 Java 语言开发,易于二次开发。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章