etl作業部署與調度—taskctl管理概述

以下文章內容轉自微信公衆號"taskctl"

鏈接:回覆關鍵字 "產品"

作者:沐白

本文主要內容:

  • TASKCTL是什麼;
  • TASKCTL可以做什麼;
  • 組件&架構;
  • 100+個主要功能點;
  • 八大技術應用特徵;
  • 三大產品優勢
  • TASKCTL是什麼?

TASKCTL是一款功能全面的作業自動化調度技術管理工具。所謂作業,是指部署在網絡中不同計算機上的各種程序或系統命令。通過TASKCTL,可以快速將這些作業組織起來,並進行有效的管理以及各種參數化運行控制。在業界,普遍將這種技術稱爲作業調度,其技術本質是作業運行管理的自動化控制。

TASKCTL可以做什麼?

可以成爲您IT工作中的一款常伴工具。TASKCTL作爲一款作業自動化調度控制工具,可廣泛應用於各種IT應用建設、實施各種IT設施維護管理中。其中大數據領域ETL以及批量作業自動化調度,是TASKCTL最典型的應用之一。

典型應用場景-大數據領域批量作業調度應用

大數據時代的今天,大量系統的建設與應用都離不開作業自動化調度技術的支撐。通過這種技術,使我們可以有效管控大量數據的批量進出、存放、加工、轉換等一些列複雜的調度處理過程。

更多的IT作業調度自動化應用場景。

系統部署自動化

通過TASKCTL作業自動化無代理調度技術,可以快速實現成百上千臺機器的多種應用部署。

自助式運維自動化

在IT運維過程當中,各種複雜的需求與應用場景,會催生大量碎片化的基於作業自動化的運維管理流程需求。TASKCTL是一款簡單靈活的作業自動化工具,以自助方式,可以快速應對這些碎片化的運維流程需求。

更多自動化特色應用

實際上,作業流程自動化,是IT的常態技術。比如測試、機器巡檢等,其技術核心,都離不開作業的自動化。深入理解TASKCTL的技術本質、合理利用TASKCTL這一款技術工具,你會發現,它可以輕鬆應用於你大量IT自動化處理當中,使TASKCTL成爲你工作中的一款常伴工具。

組件&架構

(一) 總體架構

  1. 整個體系採用客戶端、服務端CS模式。
  2. 服務端通過代理模式、無代理模式,使調度服務器可以遠程調度控制更多的業務主機
  3. 調度服務器採用主備單活模式,實現服務高可靠
  4. 服務端代理採用主從模式,實現業務主機集羣控制。
  5. 客戶端應用體系分桌面客戶端、BS模式應用端、以及微信應用端(暫不提供)
  6.  BS模式只提供監控應用服務
  7. 微信模式只提供消息通知與消息相關的信息聯動服務

(二) 具體典型應用架構以及適應場景

1. 廣泛使用的經典最簡架構

如果是一臺機器的調度需求,請採用最簡架構部署。實際上,這種部署適應大部分調度應用需求。對於用戶來說,掌握了最簡部署,就可快速實現其它更多、更復雜的調度部署。

2. 多項目多代理應用架構

如果你需要同時協同批量調度多臺不同業務服務器,請採用多代理應用架構部署。

3. 業務主機集羣應用架構

如果您的業務應用服務器,是集羣模式,請採用集羣架構部署。(目前不支持互聯網集羣分片調度機制)

 

4. 無代理遠程控制架構

實際上,無代理遠程架構與最簡部署架構一致。只需在一臺機器上部署TASKCTL, 即可控制網絡中更多的機器。

TASKCTL的100+個功能要點

支撐您各種調度及管理需求。以下通過核心功能、應用功能、擴展功能三個維度,分別爲你列舉各種功能。

(一) 核心功能

所謂核心功能,主要指TASKCTL可以調度哪些類型的作業,可以實現什麼樣的自動化控制調度,並以什麼樣的方式控制龐大的網絡遠程調度。

(二) 應用功能

應用功能主要指我們通過界面怎麼管理TASKCTL調度平臺、怎麼設計作業流程信息、怎麼監控查詢統計分析調度狀況等。

平臺管理

平臺管理功能主要包括:

  • 平臺代理主機維護管理;
  • 作業類型維護管理;
  • 用戶(組)權限維護管理;
  • 調度節點併發度維護管理;
  • 作業&流程定義信息導入導出等。

作業流程調度設計

獨立的IDE開發設計環境程序Designer,可以讓你快速友好地設計流程信息。

主要功能包括:

  • 作業流程資源樹管理;
  • 圖形拖拽方式設計;
  • 代碼文本方式設計;
  • 圖文聯動設計;
  • 聯機\脫機設計;
  • 設計信息實時自動檢查;
  • 設計信息編譯深度檢查;
  • 信息全局搜索&替換

運維監控管理

運維監控管理主要通過組件monitor實現

cs版主界面

bs版主界面

(三) 擴展功能

擴展功能主要包括:

(1)作業類型插件擴展

通過統一作業類型擴展機制,用戶可以通過開發自己驅動插件,讓TASKCTL支持您基於不同技術平臺(各種數據庫、ETL工具、語言、以及大數據平臺等),不同應用規則的作業類型。

(2)應用API擴展

TASKCTL提供一套完整基於JAVA的二次開發接口,可以實現企業個性化的調度監控管理應用平臺。

八大技術應用特徵

創新不是目的,而是爲了更好的應用

1.精簡的技術體系

TASKCTL服務核心是業界唯一不採用數據庫、任何第三方中間件構建的調度技術平臺。

目前,整個業界的調度系統設計,主要是基於數據庫、通信等各種第三方中間件基礎上構建各自的調度技術平臺。唯有TASKCTL無論是數據存儲訪問、網絡通信,還是數據隊列、數據一致性等底層技術,都採用獨立自主的技術。這種方式在構建之初,爲系統設計帶來成倍的難度,但一旦建設完成,這種完全獨立自主的體系,爲系統各方面的高度融合,變得更輕鬆、更快捷。

2.高效的計算引擎

高效的計算引擎,無需特別的硬件資源要求。

由於TASKCTL採用全獨立自主的技術體系,使計算機制與算法的全面優化變爲可能。其主要採用獨特消息機制全方位的內存計算以及組件化的計算引擎,使TASKCTL調度吞吐效率與業界相比,擁有數量級的絕對優勢。

3.準語言級的控制設計

準語言級的控制表達方式,不僅使調度控制表達信息更簡潔、更易懂;同時,在面對各種更爲複雜的自動化控制需求時,TASKCTL變得更具有靈活性。

在傳統記錄化特徵的基礎上,將控制邏輯信息規則一定語法化,設計一套相應的語法規則,並吸取了大量語言的表達特徵,以XML語言爲載體並以文本代碼方式進行表達。這種具有一定語言思想的表達方法,使你的設計更快捷、更簡潔,也更靈活。

4. 完整的設計環境

TASKCTL-Designer客戶端組件是調度業界唯一趨於完整的設計環境,使您整個調度設計過程,變得更輕鬆、更愉悅、更高效!

結合自己語言特徵、表達特徵、編輯特徵,獨立設計了一套與之匹配的完整的IDE環境-Designer組件,徹底擺脫了記錄式表達的單一特徵,使整個信息管理、表達與設計,更形象、更立體、更流暢、也更高效。

5.全方位的消息通知平臺

消息通知,纔是監控最直接、最便捷的手段。

目前,TASKCTL按異常、警告、預警以及提醒進行分類,爲用戶提供20+種實時通知消息。

6.靈活的插件擴展

插件擴展,讓TASKCTL用戶,不用擔心作業類型的變化與發展

用戶可以通過開發自己驅動插件,讓TASKCTL支持您基於不同技術平臺(各種數據庫、ETL工具、語言、以及大數據平臺等),不同應用規則的作業類型。

7.無代理遠程調度

一機簡單部署,全網輕鬆受控。

相對於代理模式來講,無代理由於無需在受控目標機器部署相應的軟件,即可調度控制相應的作業程序。這種變化,讓調度控制空間格局,得到徹底的延展變化,極大拓展了調度的應用場景。這種場景,特別適合運維管理自動化。

無代理技術,使TASKCTL實現了”一機簡單部署,全網輕鬆受控”。

8.系統級的權限管理機制

TASKCTL提供了一套類似操作系統般的權限管理機制,通過用戶、用戶組的思想,爲每個流程對象賦予讀、寫、執行三種權限。這種思想,即簡單,又熟悉,還可靈活實現各種角色的權限管理。

三大主要優勢

(一) 堅定不移的產品理念

聚焦的方向、堅定的信念、持續的付出,決定未來一切

TASKCTL是由一羣堅定的作業自動化調度技術愛好者開創,發展,並創辦公司經營。作業自動化技術應用是公司唯一的業務,TASKCTL是公司唯一的核心產品,舉全公司之力,長期發展TASKCTL,是公司不變的策略。

(二) 快速的產品升級迭代

產品沒有最好,只有更好。只有不斷髮展的產品,才具有更強的生命力。

公司專業、專注的產品戰略,是產品不斷迭代發展完善的重要保證。爲了保證產品的快速迭代,公司不斷加強互聯網經營策略,以便建立產品的快速用戶反饋機制,以及快速發佈渠道。

目前,TASKCTL擁有業界作業調度最大的技術交流羣體,並通過互聯網、公司熱線與我們核心技術服務支持團隊,長期保持實時互動,共同推動着TASKCTL不斷向前發展。

(三) 最走心的技術服務體系

只有優質的產品與服務,纔有用戶更好的應用效果

提升技術服務質量,不再是一句口號。我們結合產品自身應用場景特性以及最流行的互聯網通道,像產品一樣精心設計的技術支持體系,以更低的成本,爲用戶提供更快捷、更高效、更精準的技術服務支持。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章