XXL-JOB快速入門

概述
XXL-JOB是一個輕量級分佈式任務調度平臺,其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。現已開放源代碼並接入多家公司線上產品線,開箱即用。
官方地址中文版:http://www.xuxueli.com/xxl-job
目前已有多家公司接入xxl-job,包括比較知名的大衆點評,京東,優信二手車,北京尚德,360金融 (360),聯想集團 (聯想),易信 (網易)等等…
Quartz作爲開源作業調度中的佼佼者,是作業調度的首選。集羣環境中Quartz採用API的方式對任務進行管理,Quartz存在以下問題:

Quartz的不足
問題一:調用API的的方式操作任務,不人性化;
問題二:需要持久化業務QuartzJobBean到底層數據表中,系統侵入性相當嚴重。
問題三:調度邏輯和QuartzJobBean耦合在同一個項目中,這將導致一個問題,在調度任務數量逐漸增多,同時調度任務邏輯逐漸加重的情況加,此時調度系統的性能將大大受限於業務;
問題四:quartz底層以“搶佔式”獲取DB鎖並由搶佔成功節點負責運行任務,會導致節點負載懸殊非常大;而XXL-JOB通過執行器實現“協同分配式”運行任務,充分發揮集羣優勢,負載各節點均衡。
XXL-JOB彌補了quartz的上述不足之處。

XXL-JOB特性
簡單:支持通過Web頁面對任務進行CRUD操作,操作簡單,一分鐘上手
動態:支持動態修改任務狀態、啓動/停止任務,以及終止運行中任務,即時生效
調度中心HA(中心式):調度採用中心式設計,“調度中心”基於集羣Quartz實現並支持集羣部署,可保證調度中心HA
執行器HA(分佈式):任務分佈式執行,任務"執行器"支持集羣部署,可保證任務執行HA
註冊中心: 執行器會週期性自動註冊任務, 調度中心將會自動發現註冊的任務並觸發執行。同時,也支持手動錄入執行器地址
彈性擴容縮容:一旦有新執行器機器上線或者下線,下次調度時將會重新分配任務
路由策略:執行器集羣部署時提供豐富的路由策略,包括:第一個、最後一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等
故障轉移:任務路由策略選擇"故障轉移"情況下,如果執行器集羣中某一臺機器故障,將會自動Failover切換到一臺正常的執行器發送調度請求。
阻塞處理策略:調度過於密集執行器來不及處理時的處理策略,策略包括:單機串行(默認)、丟棄後續調度、覆蓋之前調度
任務超時控制:支持自定義任務超時時間,任務運行超時將會主動中斷任務
任務失敗重試:支持自定義任務失敗重試次數,當任務失敗時將會按照預設的失敗重試次數主動進行重試;其中分片任務支持分片粒度的失敗重試
任務失敗告警;默認提供郵件方式失敗告警,同時預留擴展接口,可方便的擴展短信、釘釘等告警方式
分片廣播任務:執行器集羣部署時,任務路由策略選擇"分片廣播"情況下,一次任務調度將會廣播觸發集羣中所有執行器執行一次任務,可根據分片參數開發分片任務
動態分片:分片廣播任務以執行器爲維度進行分片,支持動態擴容執行器集羣從而動態增加分片數量,協同進行業務處理;在進行大數據量業務操作時可顯著提升任務處理能力和速度
事件觸發:除了"Cron方式"和"任務依賴方式"觸發任務執行之外,支持基於事件的觸發任務方式。調度中心提供觸發任務單次執行的API服務,可根據業務事件靈活觸發
任務進度監控:支持實時監控任務進度
Rolling實時日誌:支持在線查看調度結果,並且支持以Rolling方式實時查看執行器輸出的完整的執行日誌
GLUE:提供Web IDE,支持在線開發任務邏輯代碼,動態發佈,實時編譯生效,省略部署上線的過程。支持30個版本的歷史版本回溯
腳本任務:支持以GLUE模式開發和運行腳本任務,包括Shell、Python、NodeJS、PHP、PowerShell等類型腳本
命令行任務:原生提供通用命令行任務Handler(Bean任務,“CommandJobHandler”);業務方只需要提供命令行即可
任務依賴:支持配置子任務依賴,當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔
一致性:“調度中心”通過DB鎖保證集羣分佈式調度的一致性, 一次任務調度只會觸發一次執行
自定義任務參數:支持在線配置調度任務入參,即時生效
調度線程池:調度系統多線程觸發調度運行,確保調度精確執行,不被堵塞
數據加密:調度中心和執行器之間的通訊進行數據加密,提升調度信息安全性
郵件報警:任務失敗時支持郵件報警,支持配置多郵件地址羣發報警郵件
推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用
運行報表:支持實時查看運行數據,如任務數量、調度次數、執行器數量等;以及調度報表,如調度日期分佈圖,調度成功分佈圖等
全異步:任務調度流程全異步化設計實現,如異步調度、異步運行、異步回調等,有效對密集調度進行流量削峯,理論上支持任意時長任務的運行
跨平臺:原生提供通用HTTP任務Handler(Bean任務,“HttpJobHandler”),業務方只需要提供HTTP鏈接即可,不限制語言、平臺
國際化:調度中心支持國際化設置,提供中文、英文兩種可選語言,默認爲中文
容器化:提供官方docker鏡像,並實時更新推送dockerhub,進一步實現產品開箱即用
線程池隔離:調度線程池進行隔離拆分,慢任務自動降級進入"Slow"線程池,避免耗盡調度線程,提高系統穩定性
快速入門
解壓源碼,按照maven格式將源碼導入IDE, 使用maven進行編譯即可,源碼結構如下:
xxl-job-admin:調度中心
xxl-job-core:公共依賴
xxl-job-executor-samples:執行器Sample示例(選擇合適的版本執行器,可直接使用,也可以參考其並將現有項目改造成執行器)
:xxl-job-executor-sample-springboot:Springboot版本,通過Springboot管理執行器,推薦這種方式;
:xxl-job-executor-sample-spring:Spring版本,通過Spring容器管理執行器,比較通用;
:xxl-job-executor-sample-frameless:無框架版本;
:xxl-job-executor-sample-jfinal:JFinal版本,通過JFinal管理執行器;
:xxl-job-executor-sample-nutz:Nutz版本,通過Nutz管理執行器;

1.初始化"調度數據庫"
到官網下載項目源碼並解壓,獲取 “調度數據庫初始化SQL腳本” 並執行即可,正常情況下應該生成16張表。SQL腳本位置:/xxl-job/doc/db/tables_xxl_job.sql
注意⚠️:調度中心支持集羣部署,集羣情況下各節點務必連接同一個mysql實例;
如果mysql做主從,調度中心集羣節點務必強制走主庫

2.部署調度中心
調度中心項目:xxl-job-admin
作用:統一管理任務調度平臺上調度任務,負責觸發調度執行,並且提供任務管理平臺。
步驟一:調度中心配置
調度中心配置文件地址:/xxl-job/xxl-job-admin/src/main/resources/xxl-job-admin.properties

調度中心JDBC鏈接

spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl-job?Unicode=true&characterEncoding=UTF-8
spring.datasource.username=root
spring.datasource.password=root_pwd
spring.datasource.driver-class-name=com.mysql.jdbc.Driver

報警郵箱

spring.mail.host=smtp.qq.com
spring.mail.port=25
[email protected]
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true

登錄賬號

xxl.job.login.username=admin
xxl.job.login.password=123456

調度中心通訊TOKEN,用於調度中心和執行器之間的通訊進行數據加密,非空時啓用

xxl.job.accessToken=

調度中心國際化設置,默認爲中文版本,值設置爲“en”時切換爲英文版本

xxl.job.i18n=
步驟二:部署項目
如果已經正確進行上述配置,可將項目編譯打包部署。 調度中心訪問地址:http://localhost:8080/xxl-job-admin (該地址執行器將會使用到,作爲回調地址),登錄後運行界面如下圖所示
調度中心管理首頁
至此“調度中心”項目已經部署成功。

步驟三:調度中心集羣可選
調度中心支持集羣部署,提升調度系統容災和可用性。
調度中心集羣部署時,幾點要求和建議:

DB配置保持一致;
登陸賬號配置保持一致;
集羣機器時鐘保持一致(單機集羣忽視);
建議:推薦通過nginx爲調度中心集羣做負載均衡,分配域名。調度中心訪問、執行器回調配置、調用API服務等操作均通過該域名進行。
3.部署執行器項目
執行器負責接收“調度中心”的調度並執行;在源碼中作者已經貼心的給出了多種執行器項目示例,可根據你的喜好直接將其部署作爲你自己的執行器,當然你也可以將執行器集成到現有業務項目中去
image.png

現以集成到現有項目爲例,將執行器集成到現有的一個Spring-Boot項目Athena中去
步驟一:在你的項目裏引入xxl-job-core的依賴

com.xuxueli
xxl-job-core
2.0.1

步驟二:執行器配置
將源碼中/xxl-job/xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/resources/application.properties下的配置信息copy一份,添加到你的項目的application.properties文件中去,注意修改自己的配置信息

調度中心部署跟地址 [選填]:如調度中心集羣部署存在多個地址則用逗號分隔。執行器將會使用該地址進行"執行器心跳註冊"和"任務結果回調";爲空則關閉自動註冊;

xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin

執行器AppName [選填]:執行器心跳註冊分組依據;爲空則關閉自動註冊

xxl.job.executor.appname=xxl-job-executor-athena

執行器IP [選填]:默認爲空表示自動獲取IP,多網卡時可手動設置指定IP,該IP不會綁定Host僅作爲通訊實用;地址信息用於 “執行器註冊” 和 “調度中心請求並觸發任務”;

xxl.job.executor.ip=

執行器端口號 [選填]:小於等於0則自動獲取;默認端口爲9999,單機部署多個執行器時,注意要配置不同執行器端口;

xxl.job.executor.port=9999

執行器通訊TOKEN [選填]:非空時啓用;

xxl.job.accessToken=

執行器運行日誌文件存儲磁盤路徑 [選填] :需要對該路徑擁有讀寫權限;爲空則使用默認路徑;

xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler

執行器日誌保存天數 [選填] :值大於3時生效,啓用執行器Log文件定期清理功能,否則不生效;

xxl.job.executor.logretentiondays=-1
步驟三:執行器組件配置
執行器組件配置信息位置:/xxl-job/xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/java/com/xxl/job/executor/core/config/XxlJobConfig.java
找到這個XxlJobConfig.java複製一份到你的項目裏即可
基於JavaConfig的執行器組件配置信息

步驟四:部署執行器項目
如果已經正確進行上述配置,可將執行器項目編譯打部署,源碼中執行器示例項目各自的部署方式如下:
xxl-job-executor-sample-springboot:項目編譯打包成springboot類型的可執行JAR包,命令啓動即可
xxl-job-executor-sample-spring:項目編譯打包成WAR包,並部署到tomcat中
xxl-job-executor-sample-jfinal:同上
xxl-job-executor-sample-nutz:同上
至此“執行器”項目已經部署結束

步驟五:執行器項目集羣(可選)
執行器支持集羣部署,提升調度系統可用性,同時提升任務處理能力。
執行器集羣部署時,幾點要求和建議:

執行器回調地址(xxl.job.admin.addresses)需要保持一致;執行器根據該配置進行執行器自動註冊等操作
同一個執行器集羣內AppName(xxl.job.executor.appname)需要保持一致;調度中心根據該配置動態發現不同集羣的在線執行器列表
4.開發自己的任務
4.1在執行器項目中新建自己的任務,代碼示例:

package com.tp.athena.jobhandler;

import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.IJobHandler;
import com.xxl.job.core.handler.annotation.JobHandler;
import com.xxl.job.core.log.XxlJobLogger;
import org.springframework.stereotype.Component;

import javax.sound.midi.Soundbank;
import java.util.concurrent.TimeUnit;

/**

  • 任務Handler示例(Bean模式)

  • 開發步驟:

  • 1、繼承"IJobHandler":“com.xxl.job.core.handler.IJobHandler”;

  • 2、註冊到Spring容器:添加“@Component”註解,被Spring容器掃描爲Bean實例;

  • 3、註冊到執行器工廠:添加“@JobHandler(value=“自定義jobhandler名稱”)”註解,註解value值對應的是調度中心新建任務的JobHandler屬性的值。

  • 4、執行日誌:需要通過 “XxlJobLogger.log” 打印執行日誌;

  • @author xuxueli 2015-12-19 19:43:36
    */
    @JobHandler(value = “demoJobHandler”)
    @Component
    public class DemoJobHandler extends IJobHandler {

    @Override
    public ReturnT execute(String param) throws Exception {
    System.out.println(“XXL-JOB Hello World”);
    return SUCCESS;
    }
    }
    4.2在調度中心新建任務
    登錄調度中心,點擊下圖所示“新建任務”按鈕,新建示例任務。然後,參考下面截圖中任務的參數配置,點擊保存。
    新增任務

點擊保存
任務列表.png

點擊右側啓動此任務,將任務啓動
4.3啓動調度中心,啓動執行器項目
效果如下:
xxl-job分佈式定時任務

在調度中心我們可以查看調度日誌
調度日誌

作者:多了個錘子
鏈接:https://www.jianshu.com/p/fa7186bea84b
來源:簡書
著作權歸作者所有。商業轉載請聯繫作者獲得授權,非商業轉載請註明出處。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章