ETL任务调度

ETL任务用于定义数据的抽取,转换及装载规则。而ETL任务调度(简称ETL调度)用于控制ETL任务的启动运行(启动时间、运行周期及触发条件),实现数据的传输转换操作。

ETL调度按照功能复杂度分为简单定时调度和工作流调度二种方式。

定时调度用于控制ETL任务按照某一时间属性周期运行,如在每个工作日的19点启动交易数据采集任务或每月1号启动报表数据汇总任务。定时调度难以处理多个相关ETL任务间的依赖关系,也无法有效处理ETL异常。对于某些不具备定时调度功能的ETL软件可以采用操作系统提供的定时功能,如Linux的cron调度、Windows的任务计划程序。

工作流调度采用模块化方法对ETL过程涉及的各个环节进行协同管理,将ETL整个过程分解为多个数据处理子任务,子任务间采用顺序、并行或互斥等时序关系进行调度控制,当ETL过程需要变更时,仅需重新配置相关子任务或子任务间时序关系,无需对整个过程进行调整,简化了ETL过程管理。

工作流调度包含以下基本功能:

1 支持顺序、并发、互斥等工作模式

2 支持周期性定时触发任务

3 支持任务异常处理

4 支持任意程序调用执行

5 支持任务间传递信息

灵蜂ETL软件内置定时调度与工作流调度功能,提供简单直观的图形操作界面,满足各种不同规模的数据集成场景。

灵蜂ETL软件除具备上述工作流调度基本功能外,依据ETL数据集成特点,进行如下功能扩展:

1 支持ETL任务的一站式图形化配置管理。

2 内置HTTP、FTP文件传输功能(支持基于TLS加密)。

3 内置SMTP邮件通知功能。

4 支持任意外部程序调用时的超时处理。

5 支持自定义脚本任务,无限扩展流程功能。

6 支持集群环境的工作流任务负载均衡,支持单点故障任务迁移。

7 提供工作流运行轨迹指示,实时反馈子任务运行状态。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章