ETL任務調度

ETL任務用於定義數據的抽取,轉換及裝載規則。而ETL任務調度(簡稱ETL調度)用於控制ETL任務的啓動運行(啓動時間、運行週期及觸發條件),實現數據的傳輸轉換操作。

ETL調度按照功能複雜度分爲簡單定時調度和工作流調度二種方式。

定時調度用於控制ETL任務按照某一時間屬性週期運行,如在每個工作日的19點啓動交易數據採集任務或每月1號啓動報表數據彙總任務。定時調度難以處理多個相關ETL任務間的依賴關係,也無法有效處理ETL異常。對於某些不具備定時調度功能的ETL軟件可以採用操作系統提供的定時功能,如Linux的cron調度、Windows的任務計劃程序。

工作流調度採用模塊化方法對ETL過程涉及的各個環節進行協同管理,將ETL整個過程分解爲多個數據處理子任務,子任務間採用順序、並行或互斥等時序關係進行調度控制,當ETL過程需要變更時,僅需重新配置相關子任務或子任務間時序關係,無需對整個過程進行調整,簡化了ETL過程管理。

工作流調度包含以下基本功能:

1 支持順序、併發、互斥等工作模式

2 支持週期性定時觸發任務

3 支持任務異常處理

4 支持任意程序調用執行

5 支持任務間傳遞信息

靈蜂ETL軟件內置定時調度與工作流調度功能,提供簡單直觀的圖形操作界面,滿足各種不同規模的數據集成場景。

靈蜂ETL軟件除具備上述工作流調度基本功能外,依據ETL數據集成特點,進行如下功能擴展:

1 支持ETL任務的一站式圖形化配置管理。

2 內置HTTP、FTP文件傳輸功能(支持基於TLS加密)。

3 內置SMTP郵件通知功能。

4 支持任意外部程序調用時的超時處理。

5 支持自定義腳本任務,無限擴展流程功能。

6 支持集羣環境的工作流任務負載均衡,支持單點故障任務遷移。

7 提供工作流運行軌跡指示,實時反饋子任務運行狀態。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章