oozie系列-oozie简介

oozie简介

没有华丽的文字描述直接上官方简介翻译,几句话就能概括什么是Oozie:

  • Oozie是一个管理Hdoop作业(job)的工作流程调度管理系统
  • Oozie的工作流是一系列动作的直接周期图(DAG)
  • Oozie协调作业就是通过时间(频率)和有效数据触发当前的Oozie工作流程
  • Oozie是Yahoo针对Apache Hadoop开发的一个开源工作流引擎。用于管理和协调运行在Hadoop平台上(包括:HDFS、Pig和MapReduce)的Jobs。Oozie是专为雅虎的全球大规模复杂工作流程和数据管道而设计
  • Oozie围绕两个核心:工作流和协调器,前者定义任务的拓扑和执行逻辑,后者负责工作流的依赖和触发
  • Oozie围绕着两个核心进行:工作流(Workflow)和协调器(Coordinator),前者定义任务拓扑和执行逻辑,后者负责工作流的依赖和触发

约定

  • oozie版本:使用cdh5.9.0版本集成的4.1.0 后续文章案例若无特殊说明 oozie都是基于此版本

相关资源列表

  1. Apache官网:https://oozie.apache.org/
  2. Cloudera oozie 文档:https://archive.cloudera.com/cdh5/cdh/5/oozie/
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章