datax:如何使用datax

一、如何編譯
https://github.com/alibaba/DataX將工程代碼下載到本地,配置好java和maven環境,執行命令mvn -U clean package assembly:assembly -Dmaven.test.skip=true即可實現打包,執行完畢之後會在工程目錄下面有一個target目錄,包含有一個datax的文件夾和datax.tar.gz文件即是我們需要的文件
二、如何使用
進入datax/bin目錄下,新建test.json文件,文件內容爲:

  {
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "txtfilereader",
                    "parameter": {
                        "path": ["/XXX/src"],
                        "encoding": "UTF-8",
                        "column": [
                            {
                                "index": 0,
                                "type": "long"
                            },
                            {
                                "index": 1,
                                "type": "long"
                            }
                        ],
                        "fieldDelimiter": ","
                    }
                },
                "writer": {
                    "name": "txtfilewriter",
                    "parameter": {
                        "path": "/XXX/dest",
                        "fileName": "dest",
                        "writeMode": "truncate"
                    }
                }
            }
        ]
    }
}

在當前目錄下執行python datax.py test.json命令,即可將datax運行起來
三、參數說明

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章