oozie系列-oozie簡介

oozie簡介

沒有華麗的文字描述直接上官方簡介翻譯,幾句話就能概括什麼是Oozie:

  • Oozie是一個管理Hdoop作業(job)的工作流程調度管理系統
  • Oozie的工作流是一系列動作的直接週期圖(DAG)
  • Oozie協調作業就是通過時間(頻率)和有效數據觸發當前的Oozie工作流程
  • Oozie是Yahoo針對Apache Hadoop開發的一個開源工作流引擎。用於管理和協調運行在Hadoop平臺上(包括:HDFS、Pig和MapReduce)的Jobs。Oozie是專爲雅虎的全球大規模複雜工作流程和數據管道而設計
  • Oozie圍繞兩個核心:工作流和協調器,前者定義任務的拓撲和執行邏輯,後者負責工作流的依賴和觸發
  • Oozie圍繞着兩個核心進行:工作流(Workflow)和協調器(Coordinator),前者定義任務拓撲和執行邏輯,後者負責工作流的依賴和觸發

約定

  • oozie版本:使用cdh5.9.0版本集成的4.1.0 後續文章案例若無特殊說明 oozie都是基於此版本

相關資源列表

  1. Apache官網:https://oozie.apache.org/
  2. Cloudera oozie 文檔:https://archive.cloudera.com/cdh5/cdh/5/oozie/
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章