Airflow介紹

主要功能

  1. 使用Python代碼動態生成DAG,可以做到更加靈活的配置和某種意義上的簡單配置DAG。

  2. 豐富的Operator、Hook,支持非常多的第三方組件,能滿足多種需求。

  3. 支持Apache Atlas,實現數據追蹤。

  4. 具有方便的任務失敗重試功能,及任務失敗時自動發送報警郵件通知。

  5. 功能較爲完善,支持命令行操作,以及REST請求觸發DAG。

  6. 支持集羣方式執行任務。

  7. 與LDAP或Kerberos集成,實現管理權限驗證。

  8. 有多種展現方式查看調度的歷史記錄,方便監控。

與其他調度框架比較

Oozie

相比Oozie,Airflow使用方便,依賴很少。Oozie依賴YARN和HDFS,並且只能在YARN上執行,極大地限制了被調度任務的類型與代碼執行方式。

 

Azkaban

相比Azkaban,Airflow更加通用且支持更多特性。Azkaban使用YAML配置文件生成DAG,欠缺靈活性。支持的第三方組件非常少,使用不太便捷。另外,Airlfow的社區活躍度高很多。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章