datax環境部署和管理
前期環境準備
python環境搭建
jdk環境搭建
搭建python環境
- 下載python 選擇版本爲Python 2.7.12 》 Gzipped source tarball
https://www.python.org/downloads/source/
- 解壓python包,並執行./configure進行編譯
- make
- make install
- 上面操作命令執行完畢,Python 會安裝在 /usr/local/bin 目錄中
- 輸入python驗證是否安裝成功
搭建jdk環境
省略
部署datax環境
- 下載datax
https://github.com/alibaba/DataX
- 解壓
- 進入job目錄下參照官網驗證增加stream2stream.json文件 》 從stream讀取數據並打印到控制檯
- stream2stream.json內容如下
{
"job": {
"content": [
{
"reader": {
"name": "streamreader",
"parameter": {
"sliceRecordCount": 10,
"column": [
{
"type": "long",
"value": "10"
},
{
"type": "string",
"value": "hello,你好,世界-DataX"
}
]
}
},
"writer": {
"name": "streamwriter",
"parameter": {
"encoding": "UTF-8",
"print": true
}
}
}
],
"setting": {
"speed": {
"channel": 5
}
}
}
}
- 切換到datax 所在的bin目錄,執行
[root@localhost bin]# python datax.py ../job/stream2stream.json
部署datax-web環境
- 可參照官網
- 下載地址
https://github.com/WeiYe-Jing/datax-web
https://pan.baidu.com/share/init?surl=3yoqhGpD00I82K4lOYtQhg cpsk
- 上面文件解壓之後
- 建議先手動創建datax-web數據庫,並初始化datax-web-2.1.2/bin/db/datax_web.sql
- 進入datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties手動更改dbc相關信息
- 進入datax-web-2.1.2 執行 ./bin/install.sh,默認選擇Y,執行mysql初始化步驟跳過
- 進入datax-web-2.1.2/modules/datax-executor/bin/env.properties主要調整datax.py目錄
## PYTHON腳本執行位置
#PYTHON_PATH=/home/hadoop/install/datax/bin/datax.py
PYTHON_PATH=/usr/local/datax/bin/datax.py
- 上面成功之後, 進入datax-web-2.1.2 執行./bin/start-all.sh啓動相關服務
- 訪問地址爲 http://{ip}}:9527/index.html
關於啓動日誌查看
1、datax-web-2.1.2/modules/datax-executor/bin/console.out
2、datax-web-2.1.2/modules/datax-admin/bin/console.out