datax环境部署和管理
前期环境准备
python环境搭建
jdk环境搭建
搭建python环境
- 下载python 选择版本为Python 2.7.12 》 Gzipped source tarball
https://www.python.org/downloads/source/
- 解压python包,并执行./configure进行编译
- make
- make install
- 上面操作命令执行完毕,Python 会安装在 /usr/local/bin 目录中
- 输入python验证是否安装成功
搭建jdk环境
省略
部署datax环境
- 下载datax
https://github.com/alibaba/DataX
- 解压
- 进入job目录下参照官网验证增加stream2stream.json文件 》 从stream读取数据并打印到控制台
- stream2stream.json内容如下
{
"job": {
"content": [
{
"reader": {
"name": "streamreader",
"parameter": {
"sliceRecordCount": 10,
"column": [
{
"type": "long",
"value": "10"
},
{
"type": "string",
"value": "hello,你好,世界-DataX"
}
]
}
},
"writer": {
"name": "streamwriter",
"parameter": {
"encoding": "UTF-8",
"print": true
}
}
}
],
"setting": {
"speed": {
"channel": 5
}
}
}
}
- 切换到datax 所在的bin目录,执行
[root@localhost bin]# python datax.py ../job/stream2stream.json
部署datax-web环境
- 可参照官网
- 下载地址
https://github.com/WeiYe-Jing/datax-web
https://pan.baidu.com/share/init?surl=3yoqhGpD00I82K4lOYtQhg cpsk
- 上面文件解压之后
- 建议先手动创建datax-web数据库,并初始化datax-web-2.1.2/bin/db/datax_web.sql
- 进入datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties手动更改dbc相关信息
- 进入datax-web-2.1.2 执行 ./bin/install.sh,默认选择Y,执行mysql初始化步骤跳过
- 进入datax-web-2.1.2/modules/datax-executor/bin/env.properties主要调整datax.py目录
## PYTHON脚本执行位置
#PYTHON_PATH=/home/hadoop/install/datax/bin/datax.py
PYTHON_PATH=/usr/local/datax/bin/datax.py
- 上面成功之后, 进入datax-web-2.1.2 执行./bin/start-all.sh启动相关服务
- 访问地址为 http://{ip}}:9527/index.html
关于启动日志查看
1、datax-web-2.1.2/modules/datax-executor/bin/console.out
2、datax-web-2.1.2/modules/datax-admin/bin/console.out