【ketlle】本地開發kitlle job提交至linux生產環境上執行流程

【ketlle】本地開發kitlle job提交至linux生產環境上執行

前言

因爲kettle提供可視化界面,所以我們在本地開發的時候拖拽開發十分便捷,開發完成後,我們需要丟到測試或者生產環境中運行一下,這裏介紹一下整個流程。

操作步驟

將整個工程打包(包含kjb和ktr),拖至線上機器,解壓在某一路徑下,然後進到kittle的安裝路徑下,找到名爲kitchen.sh的腳本:

在這裏插入圖片描述
接着執行(把kjb裏面涉及的環境變量拷貝到線上kettle的kettle.properties中):

# -file /var/lib/hadoop-yarn/dw_etl/mysql_oracle_to_hdfs_20200119/下爲邏輯文件
# -logfile /var/lib/hadoop-yarn/ml/KETTLE_JOB_`data +%y%m%d`爲打印日誌文件
sh kitchen.sh -file /var/lib/hadoop-yarn/dw_etl/mysql_oracle_to_hdfs_20200119/KETTLE_JOB.kjb -logfile /var/lib/hadoop-yarn/ml/KETTLE_JOB_`data +%y%m%d`

執行效果如下:
在這裏插入圖片描述

後記

因爲本地環境的網速限制,傳輸數據的過程十分緩慢,換到線上環境就十分迅速了。

發佈了48 篇原創文章 · 獲贊 71 · 訪問量 20萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章