【Kettle】作業和參數

  • 介紹

大多數ETL項目都需要完成各種各樣的操作,例如何傳送文件 驗證數據庫表是否存在,等等,而這些操作都是按照一定順序完成,Kettle中的作業可以串行執行轉換來處理這些操作。

 

  • Job Item(作業項)

作業項是作業的基本構成部分。如同轉換的組件,作業項也可以用圖標的方式展示。

 

  • Job Hop(作業跳)

Job Hop是作業項之間的連接線,定義了作業的執行路徑,作業裏每個作業項的不同運行結果決定了作業的不同執行 路徑。以下爲 Job Hop的幾種執行方式:

 

無條件執行

不論上一個作業項執行成功還是失敗,下一個作業項都會執行 藍色的連接線,上面有一個鎖的圖標

 

當運行結果爲真時執行

當上一個作業項的執行結果爲真時,執行下一個作業項 通常在需要無錯誤執行的情況下使用 綠色的連接線,上面有一個對鉤號的圖標。

 

當運行結果爲假時執行

當上一個作業項的執行結果爲假或者沒有成功執行時,執行下一個作業項 紅色的連接線,上面有一個紅色的停止圖標

 

  • 參數

參數的使用

對於ETL參數傳遞是一個很重要的環節,因爲參數的傳遞會涉及到業務數據是如何抽取

 

表輸入參數傳遞 - 轉換命名參數

1.轉換命名參數就是在轉換內部定義的變量,作用範圍是在轉換內部

2.在轉換的空白處雙擊左鍵,在轉換屬性中能看到

3.可以在表輸入 SQL語句中使用 ${變量名} 或者 %%變量名%% 直接引用

 

  • 實操

需求:

從Excel讀取數據,保存到另一個Excel再從文本文件中讀取數據,保存到Excel啓動作業執行

執行錯誤,顯示執行錯誤消息框

執行成功,顯示執行成功消息框

 

在Kettle創建兩個轉換

Excel - Excel

文本文件輸入 - Excel

 

在Kettle創建一個作業

兩個轉換對應之前兩個創建的轉換,如果轉換成功顯示成功消息框,失敗顯示失敗消息框,各個組件可以設置不同的參數

 

點擊三角形箭頭執行

 

  • 參數實操

拖入一個表輸入組件、一個空操作組件,並連接各個組件

配置表輸入組件

雙擊左鍵配置參數屬性

 

點擊三角形箭頭執行

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章