前言
因爲kettle提供可視化界面,所以我們在本地開發的時候拖拽開發十分便捷,開發完成後,我們需要丟到測試或者生產環境中運行一下,這裏介紹一下整個流程。
操作步驟
將整個工程打包(包含kjb和ktr),拖至線上機器,解壓在某一路徑下,然後進到kittle的安裝路徑下,找到名爲kitchen.sh的腳本:
接着執行(把kjb裏面涉及的環境變量拷貝到線上kettle的kettle.properties中):
# -file /var/lib/hadoop-yarn/dw_etl/mysql_oracle_to_hdfs_20200119/下爲邏輯文件
# -logfile /var/lib/hadoop-yarn/ml/KETTLE_JOB_`data +%y%m%d`爲打印日誌文件
sh kitchen.sh -file /var/lib/hadoop-yarn/dw_etl/mysql_oracle_to_hdfs_20200119/KETTLE_JOB.kjb -logfile /var/lib/hadoop-yarn/ml/KETTLE_JOB_`data +%y%m%d`
執行效果如下:
後記
因爲本地環境的網速限制,傳輸數據的過程十分緩慢,換到線上環境就十分迅速了。