主要功能
-
使用Python代碼動態生成DAG,可以做到更加靈活的配置和某種意義上的簡單配置DAG。
-
豐富的Operator、Hook,支持非常多的第三方組件,能滿足多種需求。
-
支持Apache Atlas,實現數據追蹤。
-
具有方便的任務失敗重試功能,及任務失敗時自動發送報警郵件通知。
-
功能較爲完善,支持命令行操作,以及REST請求觸發DAG。
-
支持集羣方式執行任務。
-
與LDAP或Kerberos集成,實現管理權限驗證。
-
有多種展現方式查看調度的歷史記錄,方便監控。
與其他調度框架比較
Oozie
相比Oozie,Airflow使用方便,依賴很少。Oozie依賴YARN和HDFS,並且只能在YARN上執行,極大地限制了被調度任務的類型與代碼執行方式。
Azkaban
相比Azkaban,Airflow更加通用且支持更多特性。Azkaban使用YAML配置文件生成DAG,欠缺靈活性。支持的第三方組件非常少,使用不太便捷。另外,Airlfow的社區活躍度高很多。