oozie簡介
沒有華麗的文字描述直接上官方簡介翻譯,幾句話就能概括什麼是Oozie:
- Oozie是一個管理Hdoop作業(job)的工作流程調度管理系統
- Oozie的工作流是一系列動作的直接週期圖(DAG)
- Oozie協調作業就是通過時間(頻率)和有效數據觸發當前的Oozie工作流程
- Oozie是Yahoo針對Apache Hadoop開發的一個開源工作流引擎。用於管理和協調運行在Hadoop平臺上(包括:HDFS、Pig和MapReduce)的Jobs。Oozie是專爲雅虎的全球大規模複雜工作流程和數據管道而設計
- Oozie圍繞兩個核心:工作流和協調器,前者定義任務的拓撲和執行邏輯,後者負責工作流的依賴和觸發
- Oozie圍繞着兩個核心進行:工作流(Workflow)和協調器(Coordinator),前者定義任務拓撲和執行邏輯,後者負責工作流的依賴和觸發
約定
- oozie版本:使用cdh5.9.0版本集成的4.1.0 後續文章案例若無特殊說明 oozie都是基於此版本
相關資源列表
- Apache官網:https://oozie.apache.org/
- Cloudera oozie 文檔:https://archive.cloudera.com/cdh5/cdh/5/oozie/