基於Datax的數據同步平臺

一、需求

DataX阿里的開源的時候並未提供任何可視化界面，我們在使用的過程中，需要將Json配置文件放到Datax的job路徑下，隨着業務的增加，配置文件不方便管理並且每次執行都需要修改命令，非常不方便。

二、平臺簡介

平臺主要用於數據同步、數據處理等等ETL操作。
平臺基於阿里的開源同步工具datax3.0開發。
平臺開發語言Java 8。
平臺運行環境無要求。
數據庫Mysql5.7。
Python環境建議Python2.7。
項目地址：https://github.com/WeiYe-Jing/springboot-datax

項目運行

1. 下載datax打包之後的文件或者github拉取datax代碼打包，配置環境變量。

 DATAX_HOME=G:\learndemo\springboot-datax\datax\bin

2. 執行datax-web/db下面的sql文件並修改application.yml數據庫配置信息。

3. application.yml配置數據抽取日誌文件保存路徑。

etlLogDir: D:\temp\logs\datax-web\

4. 終端訪問測試作業接口。

curl http://localhost:8080/startJob

5.打開網頁端啓動作業。

http://localhost:8080/index.html#/datax/job

6.在線配置Job。

7.選擇配置好的任務，點擊啓動任務，可以看到實時日誌輸出。