產品簡介
taskctl是一款由成都塔斯克信息技術公司歷經10年研發的etl作業集羣調度工具，該產品概念新穎，體系完整、功能全面、使用簡單、操作流暢，它不僅有完整的調度核心、靈活的擴展，同時具備完整的應用體系。目前已獲得金融，政府，製造，零售，健康，互聯網等領域1000多家頭部客戶認可。
圖片來自網絡
2020年疫情席捲全球，更是對整個市場經濟造成了嚴重影響，導致很多中小型企業業務鏈受阻，大型企業經費資金喫緊，輪班制導致公司運維人員工作量大幅增加；塔斯克信息技術公司經領導研究決定爲了履行社會責任，積極回報社會，幫助在此疫情期間受影響的企業減少運維資金支出、提升工作效率、保證後臺數據安全，工作需求場景能夠應用到的ETL批量作業調度工具的，將在此疫情期間讓你白嫖免費使用價值總額約10萬級的TASKCTL
圖片來自官網
爲什麼需要調度系統？
我們都知道大數據的計算、分析和處理，一般由多個任務單元組成（Hive、Sparksql、Spark、Shell等），每個任務單元完成特定的數據處理邏輯。
多個任務單元之間往往有着強依賴關係，上游任務執行併成功，下游任務纔可以執行。比如上游任務結束後拿到 A 結果，下游任務需結合 A 結果才能產出 B 結果，因此下游任務的開始一定是在上游任務成功運行拿到結果之後纔可以開始。
而爲了保證數據處理結果的準確性，就必須要求這些任務按照上下游依賴關係有序、高效的執行。一個較爲基礎的處理方式是，預估出每個任務處理所需時間，根據先後順序，計算出每個任務的執行的起止時間，通過定時跑任務的方式，讓整個系統保持穩定的運行。
一個完整的數據分析任務最少執行一次，在數據量較少，依賴關係較爲簡單的低頻數據處理過程中，這種調度方式完全可以滿足需求。然而在企業級場景中，更多的是需要每天執行，如果任務數量較多，在任務啓動的時間計算上就將耗費大量時間，另外如果出現上游任務執行時長超出原定預計時間或者運行異常的問題，上述的處理方式將完全無法應對，也會對人力物力造成重複損耗，因此，對於企業數據開發過程來說，一個完整且高效的工作流調度系統將起到至關重要的作用。
自動化運維的好處
努力解決企業IT日益增長的運維挑戰，大多數運維團隊面臨的最核心問題在於——如何用更少的資源完成更多工作。
自動化運維則是這一問題的理想解決方案，特別是在人力有限的情況下。總結來說，利用自動化簡化IT運維有以下好處：
降低成本- 沒有一家公司是不想降低成本的，而自動化運維可以通過提高效率、減少人爲錯誤和人力需求，降低企業IT成本。
提高生產力- 自動化運維幾乎不需要手動工作，這也就意味着它不僅可以提高產出，還可以將運維人員從複雜的傳統運維工作中釋放出來，將其知識和技能應用於更有價值的工作和任務上。此外，通過減少週轉時間，每天可處理工作量也提高了。
高可用- 系統宕機可能會使企業損失慘重，無論是金錢上，還是聲譽上。運維優先要保障的便是高可用，這也是自動化運維的一大目標。例如通過自動化保存和恢復機制，全天候系統監控和遠程通信，以大幅降低網絡停機時間；或是快速恢復，減少故障帶來的損失。
更可靠- 運維常常包括一些重複的但完全必要的工作，這也就是爲什麼它容易出錯。當人爲因素從這個過程中消除時，那些昂貴的人爲錯誤也自然消失了，這對於具有多個操作系統的大型網絡尤其有用。自動化運維可以明顯提高可靠性，減輕運維人員繁瑣的手動任務。
性能優化- 運維專家面臨的另一個問題是，讓執行任務和工作流程變得更快、更高效、具備更高工作負載。傳統運維方式想要滿足這些需求是很困難的，而自動化運維工具則可以填補此類需求，在無需僱傭更多員工的情況下，最大限度地提高性能。
調度工具對比
Oozie
Oozie：訓象人（調度mapreduce）。一個基於工作流引擎的開源框架，Oozie需要部署到java servlet中運行，主要用於定時調度，多任務之間按照執行的邏輯順序調度。
它有如下功能特點：
1.統一調度hadoop系統常見的mr任務啓動，hdfs操作，shell調度，hive操作等；
2.讓複雜的依賴關係，時間觸發，事件觸發使用xml語言進行表達，開發效率增高（這個不一定，個人很討厭xml，我覺得效率不高…）；
3.一組任務使用一個DAG表示，使用圖形表達，流程清晰；
4.支持多種任務調度，能完成大部分的hadoop任務；
5.程序定義支持EL常量和函數，表達豐富；
6.Oozie規定在完成工作後發送電子郵件通知；
7.Azkaban使用Web操作。Oozie支持Web，RestApi，Java API操作；
Azkaban
Azkaban是由Linkedin開源的一個批量工作流任務調度器。用於在一個工作流內以一個特定的順序運行一組工作和流程。Azkaban定義了一種KV文件格式來建立任務之間的依賴關係，並提供一個易於使用的web用戶界面維護和跟蹤你的工作流。
1.Web用戶界面
2.方便上傳工作流
3.方便設置任務之間的關係
4.調度工作流
5.認證/授權(權限的工作)
6.能夠殺死並重新啓動工作流
7.模塊化和可插拔的插件機制
8.項目工作區
9.工作流和任務的日誌記錄和審計
taskctl
是一款功能全面的作業自動化調度技術管理工具。通過TASKCTL，可以快速將這些作業組織起來，並進行有效的管理以及各種參數化運行控制。在業界，普遍將這種技術稱爲作業調度，其技術本質是作業運行管理的自動化控制。
基於成都塔斯克旗下產品taskctl部署面向於個人、企業主和獨立數據應用開發商提供的一個一站式大數據工具平臺和社區。基礎套餐永久免費！透過taskctl，個人和企業無需過多關注大數據底層存儲和計算引擎的複雜的安裝、繁瑣的配置和日常運維，即可將自有的多來源業務系統數據進行集成和開發，形成數據資產，並賦能於自有作業場景，在雲端輕鬆構建自有數據中臺。
taskctl調度功能如下：
1.完成20多種數據源的適配調度：Mysql、Oracle、Hive、HBase、Redis、MongoDB、ODPS、Postgresql、ElasticSearch、WebService、GBase等；
2.模塊化和可插拔的插件機制：屏蔽各種應用平臺技術差異，適配統一的執行、停止及狀態日誌查詢訪問接口
3.支持可視化工作流配置：支持圖形拖拽、自動化最小交叉排版，清楚地展示了作業節點之間的串並關係；不同類型作業圖標自定義、正執行作業節點快速定位；
4.支持任務告警：郵件，短信，微信，釘釘等多渠道訂閱，平臺消息，流程消息、作業消息多層次推送。
5.人工干預多樣化：正常調度，自由調度，虛擬調度。強制中斷、強制通過、禁用通過、預設斷點、忽略條件等；
6.支持作業優先級配置：平臺級、流程級和作業級並行控制、資源權重設置。動態設置作業優先級置頂等操作。
7.支持工作流與工作流之間組裝：支持各種層級的調度元信息架構組織，如：工程à工作流（可嵌套）à模塊（可嵌套）à作業
8.支持工作流測試運行：支持流程開發完整體系，如編碼à編譯à調試à 版本發佈à運行一整套完整的生命週期管理。
9.出錯任務快速定位：提供了“正執行、異常”等狀態的作業節點自動跟蹤定位功能。
總結
Apache Oozie 是一個重量級的任務調度系統，功能全面，但是部署及配置會比較麻煩，從 crontab 到 Oozie 上手會有一定難度。Azkaban 是介於 oozie 和 Crontab 之間的工具，但是安全性上不如 Oozie，同時如果出現失敗情況，Azkaban會丟失所有的工作流，Oozie則可以繼續運行。taskctl相較於以上兩種工具而言，解決了配置及部署複雜的問題，易於擴展的同時，也在工作流中有了更多方便開發及運維的其他功能。
寫在最後
當然taskctl不僅僅是一個功能全面的工作流調度工具，作爲一個一站式大數據平臺，它同時涵蓋以下功能，無論是簡單的 ETL 工作，還是複雜的數據中臺構建工作，使用taskctl都可以完成。
備註：需要的夥伴們評論區留言，看到後我會一一回復