思維導圖
一、概述
在平時的業務場景中，經常有一些場景需要使用定時任務，比如：
- 時間驅動的場景：某個時間點發送優惠券，發送短信等等。
- 批量處理數據：批量統計上個月的賬單，統計上個月銷售數據等等。
- 固定頻率的場景：每隔5分鐘需要執行一次。
所以定時任務在平時開發中並不少見，而且對於現在快速消費的時代，每天都需要發送各種推送，消息都需要依賴定時任務去完成，應用非常廣泛。
二、爲什麼需要任務調度平臺
在Java中，傳統的定時任務實現方案，比如Timer，Quartz等都或多或少存在一些問題：
- 不支持集羣、不支持統計、沒有管理平臺、沒有失敗報警、沒有監控等等
而且在現在分佈式的架構中，有一些場景需要分佈式任務調度：
- 同一個服務多個實例的任務存在互斥時，需要統一的調度。
- 任務調度需要支持高可用、監控、故障告警。
- 需要統一管理和追蹤各個服務節點任務調度的結果，需要記錄保存任務屬性信息等。
顯然傳統的定時任務已經不滿足現在的分佈式架構，所以需要一個分佈式任務調度平臺，目前比較主流的是elasticjob和xxl-job。
elasticjob由噹噹網開源，目前github有6.5k的Star，使用的公司在官網登記有76家。
跟xxl-job不同的是，elasticjob是採用zookeeper實現分佈式協調，實現任務高可用以及分片。
三、爲什麼選擇XXL-JOB
實際上更多公司選擇xxl-job，目前xxl-job的github上有15.7k個star，登記公司有348個。毫無疑問elasticjob和xxl-job都是非常優秀的技術框架，接下來我們進一步對比討論，探索一下爲什麼更多公司會選擇xxl-job。
首先先介紹一下xxl-job，這是出自大衆點評許雪裏(xxl就是作者名字的拼音首字母)的開源項目，官網上介紹這是一個輕量級分佈式任務調度框架，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。跟elasticjob不同，xxl-job環境依賴於mysql，不用ZooKeeper，這也是最大的不同。
elasticjob的初衷是爲了面對高併發複雜的業務，即使是在業務量大，服務器多的時候也能做好任務調度，儘可能的利用服務器的資源。使用ZooKeeper使其具有高可用、一致性的，而且還具有良好的擴展性。官網上寫elasticjob是無中心化的，通過ZooKeeper的選舉機制選舉出主服務器，如果主服務器掛了，會重新選擇新的主服務器。因此elasticjob具有良好的擴展性和可用性，但是使用和運維有一定的複雜。
xxl-job則相反，是通過一箇中心式的調度平臺，調度多個執行器執行任務，調度中心通過DB鎖保證集羣分佈式調度的一致性，這樣擴展執行器會增大DB的壓力，但是如果實際上這裏數據庫只是負責任務的調度執行。但是如果沒有大量的執行器的話和任務的情況，是不會造成數據庫壓力的。實際上大部分公司任務數，執行器並不多(雖然面試經常會問一些高併發的問題)。
相對來說，xxl-job中心式的調度平臺輕量級，開箱即用，操作簡易，上手快，與SpringBoot有非常好的集成，而且監控界面就集成在調度中心，界面又簡潔，對於企業維護起來成本不高，還有失敗的郵件告警等等。這就使很多企業選擇xxl-job做調度平臺。
四、安裝
4.1 拉取源碼
搭建xxl-job很簡單，有docker拉取鏡像部署和源碼編譯兩種方式，docker部署的方式比較簡單，我就講源碼編譯的方式。首先到github拉取xxl-job源碼到本地。
4.2 導入IDEA
拉取源碼下來後，可以看到項目結構，如下：
導入到IDEA，配置一下Maven，下載相關的jar包，稍等一下後，就可以看到這樣的項目：
4.3 初始化數據庫
前面講過xxl-job需要依賴mysql，所以需要初始化數據庫，在xxl-jobdocdb路徑下找到tables_xxl_job.sql文件。在mysql上運行sql文件。
4.4 配置文件
接着就改一下配置文件，在admin項目下找到application.properties文件。
### 調度中心JDBC鏈接
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
### 報警郵箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
[email protected]
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory
### 調度中心通訊TOKEN [選填]：非空時啓用；
xxl.job.accessToken=
### 調度中心國際化配置 [必填]： 默認爲 "zh_CN"/中文簡體, 可選範圍爲 "zh_CN"/中文簡體, "zh_TC"/中文繁體 and "en"/英文；
xxl.job.i18n=zh_CN
## 調度線程池最大線程配置【必填】
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
### 調度中心日誌表數據保存天數 [必填]：過期日誌自動清理；限制大於等於7時生效，否則, 如-1，關閉自動清理功能；
xxl.job.logretentiondays=10
4.5 編譯運行
簡單一點直接跑admin項目的main方法啓動也行。
如果部署在服務器呢，那我們需要打包成jar包，在IDEA利用Maven插件打包。
然後在xxl-jobxxl-job-admintarget路徑下，找到jar包。
然後就得到jar包了，使用java -jar命令就可以啓動了。
到這裏就已經完成了！打開瀏覽器，輸入http://localhost:8080/xxl-job-admin進入管理頁面。默認賬號/密碼：admin/123456。
五、永遠的HelloWord
部署了調度中心之後，需要往調度中心註冊執行器，添加調度任務。接下來就參考xxl-job寫一個簡單的例子。
首先創建一個SpringBoot項目，名字叫"xxljob-demo"，添加依賴。
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
</dependency>
<dependency><!-- 官網的demo是2.2.1，中央maven倉庫還沒有，所以就用2.2.0 -->
<groupId>com.xuxueli</groupId>
<artifactId>xxl-job-core</artifactId>
<version>2.2.0</version>
</dependency>
</dependencies>
接着修改application.properties。
# web port
server.port=8081
# log config
logging.config=classpath:logback.xml
spring.application.name=xxljob-demo
### 調度中心部署跟地址 [選填]：如調度中心集羣部署存在多個地址則用逗號分隔。執行器將會使用該地址進行"執行器心跳註冊"和"任務結果回調"；爲空則關閉自動註冊；
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### 執行器通訊TOKEN [選填]：非空時啓用；
xxl.job.accessToken=
### 執行器AppName [選填]：執行器心跳註冊分組依據；爲空則關閉自動註冊
xxl.job.executor.appname=xxl-job-demo
### 執行器註冊 [選填]：優先使用該配置作爲註冊地址，爲空時使用內嵌服務 ”IP:PORT“ 作爲註冊地址。從而更靈活的支持容器類型執行器動態IP和動態映射端口問題。
xxl.job.executor.address=
### 執行器IP [選填]：默認爲空表示自動獲取IP，多網卡時可手動設置指定IP，該IP不會綁定Host僅作爲通訊實用；地址信息用於 "執行器註冊" 和 "調度中心請求並觸發任務"；
xxl.job.executor.ip=
### 執行器端口號 [選填]：小於等於0則自動獲取；默認端口爲9999，單機部署多個執行器時，注意要配置不同執行器端口；
xxl.job.executor.port=9999
### 執行器運行日誌文件存儲磁盤路徑 [選填] ：需要對該路徑擁有讀寫權限；爲空則使用默認路徑；
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### 執行器日誌文件保存天數 [選填] ： 過期日誌自動清理, 限制值大於等於3時生效; 否則, 如-1, 關閉自動清理功能；
xxl.job.executor.logretentiondays=10
接着寫一個配置類XxlJobConfig。
@Configuration
public class XxlJobConfig {
private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
@Value("${xxl.job.admin.addresses}")
private String adminAddresses;
@Value("${xxl.job.accessToken}")
private String accessToken;
@Value("${xxl.job.executor.appname}")
private String appname;
@Value("${xxl.job.executor.address}")
private String address;
@Value("${xxl.job.executor.ip}")
private String ip;
@Value("${xxl.job.executor.port}")
private int port;
@Value("${xxl.job.executor.logpath}")
private String logPath;
@Value("${xxl.job.executor.logretentiondays}")
private int logRetentionDays;
@Bean
public XxlJobSpringExecutor xxlJobExecutor() {
logger.info(">>>>>>>>>>> xxl-job config init.");
XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
xxlJobSpringExecutor.setAppname(appname);
xxlJobSpringExecutor.setAddress(address);
xxlJobSpringExecutor.setIp(ip);
xxlJobSpringExecutor.setPort(port);
xxlJobSpringExecutor.setAccessToken(accessToken);
xxlJobSpringExecutor.setLogPath(logPath);
xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
return xxlJobSpringExecutor;
}
}
接着編寫一個任務類XxlJobDemoHandler，使用Bean模式。
@Component
public class XxlJobDemoHandler {
/**
* Bean模式，一個方法爲一個任務
* 1、在Spring Bean實例中，開發Job方法，方式格式要求爲 "public ReturnT<String> execute(String param)"
* 2、爲Job方法添加註解 "@XxlJob(value="自定義jobhandler名稱", init = "JobHandler初始化方法", destroy = "JobHandler銷燬方法")"，註解value值對應的是調度中心新建任務的JobHandler屬性的值。
* 3、執行日誌：需要通過 "XxlJobLogger.log" 打印執行日誌；
*/
@XxlJob("demoJobHandler")
public ReturnT<String> demoJobHandler(String param) throws Exception {
XxlJobLogger.log("java, Hello World~~~");
XxlJobLogger.log("param:" + param);
return ReturnT.SUCCESS;
}
}
在resources目錄下，添加logback.xml文件。
<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false" scan="true" scanPeriod="1 seconds">
<contextName>logback</contextName>
<property name="log.path" value="/data/applogs/xxl-job/xxl-job-executor-sample-springboot.log"/>
<appender name="console" class="ch.qos.logback.core.ConsoleAppender">
<encoder>
<pattern>%d{HH:mm:ss.SSS} %contextName [%thread] %-5level %logger{36} - %msg%n</pattern>
</encoder>
</appender>
<appender name="file" class="ch.qos.logback.core.rolling.RollingFileAppender">
<file>${log.path}</file>
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<fileNamePattern>${log.path}.%d{yyyy-MM-dd}.zip</fileNamePattern>
</rollingPolicy>
<encoder>
<pattern>%date %level [%thread] %logger{36} [%file : %line] %msg%n
</pattern>
</encoder>
</appender>
<root level="info">
<appender-ref ref="console"/>
<appender-ref ref="file"/>
</root>
</configuration>
寫完之後啓動服務，然後可以打開管理界面，找到執行器管理，添加執行器。
接着到任務管理，添加任務。
最後我們可以到任務管理去測試一下，運行demoJobHandler。
點擊保存後，會立即執行。點擊查看日誌，可以看到任務執行的歷史日誌記錄。
打開剛剛執行的執行日誌，我們可以看到，運行成功。
這就是簡單的Demo演示，非常簡單，上手也快。
六、談談架構設計
下面簡單地說一下xxl-job的架構，我們先看官網提供的一張架構圖來分析。
從架構圖可以看出，分別有調度中心和執行器兩大組成部分
- 調度中心。負責管理調度信息，按照調度配置發出調度請求，自身不承擔業務代碼。支持可視化界面，可以在調度中心對任務進行新增，更新，刪除，會實時生效。支持監控調度結果，查看執行日誌，查看調度任務統計報表，任務失敗告警等等。
- 執行器。負責接收調度請求，執行調度任務的業務邏輯。執行器啓動後需要註冊到調度中心。接收調度中心的發出的執行請求，終止請求，日誌請求等等。
接下來我們看一下xxl-job的工作原理。
- 任務執行器根據配置的調度中心的地址，自動註冊到調度中心。
- 達到任務觸發條件，調度中心下發任務。
- 執行器基於線程池執行任務，並把執行結果放入內存隊列中、把執行日誌寫入日誌文件中。
- 執行器的回調線程消費內存隊列中的執行結果，主動上報給調度中心。
- 當用戶在調度中心查看任務日誌，調度中心請求任務執行器，任務執行器讀取任務日誌文件並返回日誌詳情。
本文爲阿里雲原創內容，未經允許不得轉載。