關於分佈式任務調度平臺xxl-job的本地配置實例

原創 qq_36358942 2018-09-02 02:48

最近閒來無事研究了下xxl-job，是個開源分佈式任務調度平臺。

一、基本概念

XXL-JOB是一個輕量級分佈式任務調度框架，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。現已開放源代碼並接入多家公司線上產品線，開箱即用。

二、特性

  • 1、簡單：支持通過Web頁面對任務進行CRUD操作，操作簡單，一分鐘上手；
  • 2、動態：支持動態修改任務狀態、暫停/恢復任務，以及終止運行中任務，即時生效；
  • 3、調度中心HA（中心式）：調度採用中心式設計，“調度中心”基於集羣Quartz實現並支持集羣部署，可保證調度中心HA；
  • 4、執行器HA（分佈式）：任務分佈式執行，任務"執行器"支持集羣部署，可保證任務執行HA；
  • 5、註冊中心: 執行器會週期性自動註冊任務, 調度中心將會自動發現註冊的任務並觸發執行。同時，也支持手動錄入執行器地址；
  • 6、彈性擴容縮容：一旦有新執行器機器上線或者下線，下次調度時將會重新分配任務；
  • 7、路由策略：執行器集羣部署時提供豐富的路由策略，包括：第一個、最後一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等；
  • 8、故障轉移：任務路由策略選擇"故障轉移"情況下，如果執行器集羣中某一臺機器故障，將會自動Failover切換到一臺正常的執行器發送調度請求。
  • 9、失敗處理策略；調度失敗時的處理策略，策略包括：失敗告警（默認）、失敗重試；
  • 10、失敗重試：調度中心調度失敗且啓用"失敗重試"策略時，將會自動重試一次；執行器執行失敗且回調失敗重試狀態時，也將會自動重試一次；
  • 11、阻塞處理策略：調度過於密集執行器來不及處理時的處理策略，策略包括：單機串行（默認）、丟棄後續調度、覆蓋之前調度；
  • 12、分片廣播任務：執行器集羣部署時，任務路由策略選擇"分片廣播"情況下，一次任務調度將會廣播觸發集羣中所有執行器執行一次任務，可根據分片參數開發分片任務；
  • 13、動態分片：分片廣播任務以執行器爲維度進行分片，支持動態擴容執行器集羣從而動態增加分片數量，協同進行業務處理；在進行大數據量業務操作時可顯著提升任務處理能力和速度。
  • 14、事件觸發：除了"Cron方式"和"任務依賴方式"觸發任務執行之外，支持基於事件的觸發任務方式。調度中心提供觸發任務單次執行的API服務，可根據業務事件靈活觸發。
  • 15、任務進度監控：支持實時監控任務進度；
  • 16、Rolling實時日誌：支持在線查看調度結果，並且支持以Rolling方式實時查看執行器輸出的完整的執行日誌；
  • 17、GLUE：提供Web IDE，支持在線開發任務邏輯代碼，動態發佈，實時編譯生效，省略部署上線的過程。支持30個版本的歷史版本回溯。
  • 18、腳本任務：支持以GLUE模式開發和運行腳本任務，包括Shell、Python、NodeJS等類型腳本;
  • 19、任務依賴：支持配置子任務依賴，當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔；
  • 20、一致性：“調度中心”通過DB鎖保證集羣分佈式調度的一致性, 一次任務調度只會觸發一次執行；
  • 21、自定義任務參數：支持在線配置調度任務入參，即時生效；
  • 22、調度線程池：調度系統多線程觸發調度運行，確保調度精確執行，不被堵塞；
  • 23、數據加密：調度中心和執行器之間的通訊進行數據加密，提升調度信息安全性；
  • 24、郵件報警：任務失敗時支持郵件報警，支持配置多郵件地址羣發報警郵件；
  • 25、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用;
  • 26、運行報表：支持實時查看運行數據，如任務數量、調度次數、執行器數量等；以及調度報表，如調度日期分佈圖，調度成功分佈圖等；
  • 27、全異步：系統底層實現全部異步化，針對密集調度進行流量削峯，理論上支持任意時長任務的運行；
  • 28、國際化：調度中心支持國際化設置，提供中文、英文兩種可選語言，默認爲中文；

            <特性摘自官方文檔>

附上文檔地址：http://www.xuxueli.com/xxl-job/#/

三、實戰

1.增加maven依賴

<dependency>

<groupId>com.xuxueli</groupId>

<artifactId>xxl-job-core</artifactId>

<version>${最新穩定版本}</version>

</dependency>

2.項目環境

  • JDK：1.8
  • Servlet/JSP Spec：3.1/2.3
  • Tomcat：8.5.x/Jetty9.2.x
  • Spring-boot：1.5.x/Spring4.x
  • Mysql：5.6+
  • Maven：3+

3.按照demo中初始化調度數據庫

4.編譯源碼

解壓源碼,按照maven格式將源碼導入IDE, 使用maven進行編譯即可，源碼結構如下：

xxl-job-admin：調度中心
xxl-job-core：公共依賴
xxl-job-executor：執行器Sample示例（選擇合適的版本執行器，可直接使用，也可以參考其並將現有項目改造成執行器）
    ：xxl-job-executor-sample-spring：Spring版本，通過Spring容器管理執行器，比較通用，推薦這種方式；
    ：xxl-job-executor-sample-springboot：Springboot版本，通過Springboot管理執行器；
    ：xxl-job-executor-sample-jfinal：JFinal版本，通過JFinal管理執行器；
    ：xxl-job-executor-sample-nutz：Nutz版本，通過Nutz管理執行器；
5.配置部署“調度中心”

調度中心項目：xxl-job-admin作用：統一管理任務調度平臺上調度任務，負責觸發調度執行，並且提供任務管理平臺。

步驟一：調度中心配置：

調度中心配置文件地址：

/xxl-job/xxl-job-admin/src/main/resources/xxl-job-admin.properties

調度中心配置內容說明：

### 調度中心JDBC鏈接：鏈接地址請保持和 2.1章節 所創建的調度數據庫的地址一致
xxl.job.db.driverClass=com.mysql.jdbc.Driver
xxl.job.db.url=jdbc:mysql://localhost:3306/xxl-job?useUnicode=true&characterEncoding=UTF-8
xxl.job.db.user=root
xxl.job.db.password=root_pwd

### 報警郵箱
xxl.job.mail.host=smtp.163.com
xxl.job.mail.port=25
[email protected]
xxl.job.mail.password=asdfzxcv
[email protected]
xxl.job.mail.sendNick=《任務調度平臺XXL-JOB》

### 登錄賬號
xxl.job.login.username=admin
xxl.job.login.password=123456

### 調度中心通訊TOKEN，非空時啓用
xxl.job.accessToken=

### 調度中心國際化設置，默認爲中文版本，值設置爲“en”時切換爲英文版本
xxl.job.i18n=

步驟二：部署項目：

如果已經正確進行上述配置，可將項目編譯打war包並部署到tomcat中。 調度中心訪問地址：http://localhost:8080/xxl-job-admin (該地址執行器將會使用到，作爲回調地址)，登錄後運行界面如下圖所示

輸入圖片說明


6.任務管理 -新建任務


開發執行器

配置加載類
@Configuration
@ComponentScan(basePackages = "jhh.risk.vcis.service.job")
public class XxlJobConfig {
    private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.executor.appname}")
    private String appName;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;


    @Bean(initMethod = "start", destroyMethod = "destroy")
    public XxlJobExecutor xxlJobExecutor() {
        logger.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobExecutor xxlJobExecutor = new XxlJobExecutor();
        xxlJobExecutor.setAdminAddresses(adminAddresses);
        xxlJobExecutor.setAppName(appName);
        xxlJobExecutor.setIp(ip);
        xxlJobExecutor.setPort(port);
        xxlJobExecutor.setAccessToken(accessToken);
        xxlJobExecutor.setLogPath(logPath);
        xxlJobExecutor.setLogRetentionDays(logRetentionDays);

        return xxlJobExecutor;
    }

}

配置項

xxl.job.admin.addresses 調度中心地址鏈接


xxl.job.admin.addresses=http://127.0.0.1:8080

### xxl-job executor address
xxl.job.executor.appname=test-risk-cis
xxl.job.executor.ip=
xxl.job.executor.port=9998

xxl.job.accessToken =
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job log retention days
xxl.job.executor.logretentiondays=-1

執行器類

@Component

@JobHandler(value="VCisJobHandler")
public class VCisJob extends IJobHandler {

@Override
public ReturnT<String> execute(String s) throws Exception {
    System.out.println("VCis HalderJob ======");
    System.out.println("執行業務邏輯了 ");

    for (int i = 0; i < 5; i++) {
        XxlJobLogger.log("beat at:" + i);
        TimeUnit.SECONDS.sleep(2);
    }
    return SUCCESS;
}

}
啓動執行器類服務，調度中心。

新建執行器



保存後調度中心查看調度日誌


OK


發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

xxl-job 分佈式任務調用 500 job handler [HandelProcessingTradeDetailJob] not found問題排查

qq_36358942 2019-09-15 22:54:30