1、调度系统背景
一个完整的大数据分析系统通常都是由大量任务单元组成：shell脚本程序，mapreduce程序、
hive脚本、spark程序等。
各任务单元之间存在时间先后及前后依赖关系:先后关系、依赖关系、定时执行。
为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行。
2、常见调度系统
简单的任务调度：直接使用linux的crontab来定义、shell和python脚本实现
现成开源任务调度: ooize、azkaban和airflow等
复杂的任务调度：自研调度平台
3.概念介绍
Azkaban is a distributed Workflow Manager, implemented at LinkedIn to
solve the problem of Hadoop job dependencies. We had jobs that needed
to run in order, from ETL jobs to data analytics products
Azkaban是一个分布式工作流管理器，在LinkedIn上实现解决Hadoop作业依赖性的问题。
我们有需要的工作按顺序运行，从ETL作业到数据分析产品
4、特点
- 兼容任何hadoop版本
- 容易使用的web ui
- 简介的web和http工作流的上传
- 项目库
- 工作流调度
- 模块化和插件化
- 授权和验证
- 用户action的跟踪
- 成功和失败的邮件报警
- SLA警报和自动杀死任务
- 失败作业的重试
5.两种模式
After version 3.0, we provide two modes: the stand alone “solo-server”
mode and distributed multiple-executor mode. The following describes
the differences between the two modes. In solo server mode, the DB is
embedded H2 and both web server and executor server run in the same
process. This should be useful if one just wants to try things out. It
can also be used on small scale use cases. The multiple executor mode
is for most serious production environment. Its DB should be backed by
MySQL instances with master-slave set up. The web server and executor
servers should ideally run in different hosts so that upgrading and
maintenance shouldn’t affect users. This multiple host setup brings in
robust and scalable aspect to Azkaban. Set up the database Configure
database to use multiple executors Download and install the Executor
Server for each executor configured in database Install Azkaban
Plugins Install the Web Server Below are instructions on how to set
Azkaban up. 中文（简体）
在3.0版之后，我们提供了两种模式：独立的“单服务器”模式和分布式多执行器模式。下面介绍两种模式之间的区别。
在单独服务器模式下，数据库是嵌入式H2，并且Web服务器和执行程序服务器都在同一进程中运行。如果只想尝试一下，这将很有用。它也可以用于小规模的用例。
多重执行器模式适用于最严重的生产环境。它的数据库应由设置了主从关系的MySQL实例支持。理想情况下，网络服务器和执行器服务器应在不同的主机上运行，以免升级和维护对用户产生影响。这种多主机设置为Azkaban带来了强大且可扩展的方面。
设置数据库 配置数据库以使用多个执行程序 为数据库中配置的每个执行器下载并安装执行器服务器 安装Azkaban插件 安装Web服务器
以下是有关如何设置Azkaban的说明。 翻译此页面 在Google翻译中打开