基于Datax的数据同步平台

一、需求

DataX阿里的开源的时候并未提供任何可视化界面，我们在使用的过程中，需要将Json配置文件放到Datax的job路径下，随着业务的增加，配置文件不方便管理并且每次执行都需要修改命令，非常不方便。

二、平台简介

平台主要用于数据同步、数据处理等等ETL操作。
平台基于阿里的开源同步工具datax3.0开发。
平台开发语言Java 8。
平台运行环境无要求。
数据库Mysql5.7。
Python环境建议Python2.7。
项目地址：https://github.com/WeiYe-Jing/springboot-datax

项目运行

1. 下载datax打包之后的文件或者github拉取datax代码打包，配置环境变量。

 DATAX_HOME=G:\learndemo\springboot-datax\datax\bin

2. 执行datax-web/db下面的sql文件并修改application.yml数据库配置信息。

3. application.yml配置数据抽取日志文件保存路径。

etlLogDir: D:\temp\logs\datax-web\

4. 终端访问测试作业接口。

curl http://localhost:8080/startJob

5.打开网页端启动作业。

http://localhost:8080/index.html#/datax/job

6.在线配置Job。

7.选择配置好的任务，点击启动任务，可以看到实时日志输出。