【ketlle】本地开发kitlle job提交至linux生产环境上执行流程

【ketlle】本地开发kitlle job提交至linux生产环境上执行

前言

因为kettle提供可视化界面,所以我们在本地开发的时候拖拽开发十分便捷,开发完成后,我们需要丢到测试或者生产环境中运行一下,这里介绍一下整个流程。

操作步骤

将整个工程打包(包含kjb和ktr),拖至线上机器,解压在某一路径下,然后进到kittle的安装路径下,找到名为kitchen.sh的脚本:

在这里插入图片描述
接着执行(把kjb里面涉及的环境变量拷贝到线上kettle的kettle.properties中):

# -file /var/lib/hadoop-yarn/dw_etl/mysql_oracle_to_hdfs_20200119/下为逻辑文件
# -logfile /var/lib/hadoop-yarn/ml/KETTLE_JOB_`data +%y%m%d`为打印日志文件
sh kitchen.sh -file /var/lib/hadoop-yarn/dw_etl/mysql_oracle_to_hdfs_20200119/KETTLE_JOB.kjb -logfile /var/lib/hadoop-yarn/ml/KETTLE_JOB_`data +%y%m%d`

执行效果如下:
在这里插入图片描述

后记

因为本地环境的网速限制,传输数据的过程十分缓慢,换到线上环境就十分迅速了。

发布了48 篇原创文章 · 获赞 71 · 访问量 20万+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章