Linux下kettle安裝和crontab定時任務

 

安裝JDK

        首先卸載Linux自帶的open JDK 

        查看openjdk的版本 rpm -qa | grep jdk

         卸載openjdk：yum -y remove java java-1.7.0-openjdk*

         或者rpm -e --nodeps java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.i686  

         centos7 裏面會多一個 copy-jdk-configs-1.2-1.el7.noarch，直接用yum命令卸載就好了，相關依賴也會卸載

         把jdk解壓後，配置環境變量即可

#配置.kettle目錄位置，不配置的話.kettle目錄會在當前用戶的家目錄下面生成
export KETTLE_HOME=/app/kettle8/data-integration
#配置jdk環境變量
export JAVA_HOME=/app/jdk1.8.0_101
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin:$KETTLE_HOME

       java -version 顯示版本信息，Java環境安裝成功

安裝Kettle

        把zip文件上傳到Linux服務器上

        unzip pdi-ce-8.0.0.0-28.zip

        解壓zip文件到當前目錄，提示不識別命令unzip，就安裝軟件，安裝unzip和zip

        # .kitchen.sh  顯示kettle的幫助信息則安裝kettle成功

        如果使用普通用戶，需要添加文件的執行權限

        #cd $KETTLE_HOME

        # chmod +x *.sh

        運行./pan.sh 後 .kettle目錄會再配置的KETTLE_HOME目錄下面生成，如果沒有配置KETTLE_HOME這個目錄會在當前用戶家目錄生成，.kettle目錄下會生成kettle.properties，這個文件是用來配置kettle全局變量的，一般數據庫連接ip地址，用戶，密碼都可以配置在這個文件，另外還可以覆蓋kettle一些自帶的變量值

 運行kettle流程

         編寫shell腳本

#!/bin/bash    //這一行必須要有
cd /app/kettle8/data-integration
#需要導入jdk路徑
export KETTLE_HOME=/app/kettle8/data-integration
export JAVA_HOME=/app/jdk1.8.0_161
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin:$KETTLE_HOME

#通過kitchen運行作業，每次運行產生一個日誌
./kitchen.sh -file=/app/kettle8/zgh/job/tqc.kjb -level=Basic >>/app/kettle8/zgh/log/t_qc_$(date "+%Y%m%d-%H%M%S").log

        編寫crontab腳本

        #crontab  -e   //編輯定時器

        #crontab -l  //查看所有定時任務

        參考例子

#每天0-1和4-23點期間 每隔15分鐘運行一次腳本
*/15 4-23,0-1 * * * /opt/zgh/sh/run_update_single.sh 
#每天2：30運行一次腳本
30 2 * * * /opt/zgh/sh/run_bcb_single.sh 
#每天3：00運行一次腳本
0 3 * * * /opt/zgh/sh/run_ent_space.sh 

       crontab需要注意的一個是:比如設置每22分鐘運行一次，那麼會在每個小時0分鐘，22分鐘，44分鐘運行，並不是每加22分鐘運行一次