datax同步MySQL數據到mongodb

根據生產需要,同步非實時數據到mongodb。經過同事間的不斷研究,特弄出了這樣一套方案:MySQL(RDS)------> Datax------>mongodb。
我們的mysql用的是阿里雲的rds,datax也是阿里用的非常多的,安裝部署較爲簡單。
datax部署:
下載地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
下載後解壓至本地某個目錄,進入bin目錄,即可運行同步作業:
cd {YOUR_DATAX_HOME}/bin
python datax.py {YOUR_JOB.json}
monogdb部署:
添加yum源:cd /etc/yum.repos.d
cat > mongodb-org-4.0.repo << EOF
[mongodb-org]
name=MongoDB Repository
baseurl=http://mirrors.aliyun.com/mongodb/yum/redhat/7Server/mongodb-org/4.0/x86_64/
gpgcheck=0
enabled=1
EOF
安裝之前先更新所有包 :yum update
接下來開始安裝:yum -y install mongodb-org
安裝完成後根據自己的需求更改配置文件:/etc/mongod.conf
最後啓動:systemctl start mongodb

接下來就是重中之重了,配置datax
進入datax的目錄,進入bin文件,編輯json文件,具體配置文件參考:https://github.com/alibaba/DataX/blob/master/userGuid.md
最後執行命令啓動datax:
cd {YOUR_DATAX_DIR_BIN}
python datax.py ./stream2stream.json

注:生產環境可以使用shell腳本定時更改json文件以實現每天備份數據,由於我的mysql表和mongodb表都是以時間戳命名的,所以我只需要動態更改json文件裏面的時間戳就可以了。
datax同步MySQL數據到mongodb
配合定時任務就可以實現每天修改配置文件了

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章