etl kettle說明

先新建數據連接,然後

1、新建轉換, 然後選擇表輸入(表輸入中可以放入你的任何sql),

2、表輸出,選擇你想要輸入的表。表輸入只能直接插入進去,可以選擇更新/插入選項。可以根據某個字段做修改,如果字段數據不存在就插入。

 

3、表輸入到表輸出,需要有一根線連接,可以通過按住shirt ,然後鼠標從表輸入指向表輸出即可。

 

然後吧轉換保存,保存之後,在kettle的bin目錄下新建一個bat文件,代碼如下

cmd.exe /c call d:/data-integration/set-pentaho-env.bat
cmd.exe /c call d:/data-integration/pan.bat -rep kettle -user admin -pass admin -dir /轉換所在的目錄 -trans 轉換的文件名稱 >d:/data-integration/bin/log/日誌輸出文件名_%date:~0,4%%date:~5,2%%date:~8,2%.log
cmd.exe /c call d:/data-integration/pan.bat -rep kettle -user admin -pass admin -dir /同步會見家屬 -trans 轉換社會關係臨時表插入過濾插入到正式表 >d:/data-integration/bin/log/轉換社會關係臨時表插入過濾插入到正式表_%date:~0,4%%date:~5,2%%date:~8,2%.log

注意上面的腳本d:/data-integration/pan.bat, 你要根據自己的pan.bat來變更路徑,後面的路徑也是一樣的,根據自己的實際情況更改。

然後在window的執行任務中,添加定時任務,選擇你新建的bat文件,即可。

---ps----

刪除不用的轉換,可以通過工具》》探索資源》找到自己的轉換或者作業,右鍵刪除即可。

 

 

============================以下是建立輸入輸出的詳細步驟================

以下內容轉自:https://blog.csdn.net/Install_/article/details/80252565

Kettle的建立數據庫連接、使用kettle進行簡單的全量對比插入更新:kettle會自動對比用戶設置的對比字段,若目標表不存在該字段,則新插入該條記錄。若存在,則更新。

 

Kettle簡介:Kettle是一款國外開源的ETL工具,純java編寫,可以在Window、Linux、Unix上運行,數據抽取高效穩定。Kettle 中文名稱叫水壺,該項目的主程序員MATT 希望把各種數據放到一個壺裏,然後以一種指定的格式流出。Kettle這個ETL工具集,它允許你管理來自不同數據庫的數據,通過提供一個圖形化的用戶環境來描述你想做什麼,而不是你想怎麼做。Kettle中有兩種腳本文件,transformation和job,transformation完成針對數據的基礎轉換,job則完成整個工作流的控制。(引用百度百科)

1、Kettle的下載與安裝(在本文中使用的kettle版本爲6.1.0.1-196)

2、打開kettle。

  首先解壓下載下來的壓縮包如:pdi-ce-6.1.0.1-196.zip

  然後打開Spoon.bat,如圖所示:

  

  打開後請耐心等待一會兒時間。

3、建立轉換。

  在文件->新建裝換。

  新建轉換後在左邊的主對象樹中建立DB連接用以連接數據庫。如圖所示:

  

  建立數據庫連接的過程與其他數據庫管理軟件連接數據庫類似。

  注意:在數據庫鏈接的過程中,可能會報某個數據庫連接找不到的異常。那是因爲你沒有對應的數據庫鏈接驅動,請下載對應驅動後,放入kettle的lib文件夾。

4、簡單的數據表插入\更新

  (1)新建表插入

  在左邊的面板中選擇“核心對象”,在覈心對象裏面選擇“輸入->表輸入”,用鼠標拖動到右邊面板。如圖所示:

 

 

 

  雙擊拖過來的表,可以編輯表輸入。

  選擇數據庫連接和編輯sql語句,在這一步可以點擊預覽,查看自己是否連接正確。

 

  (2)通過插入\更新輸出到表。

  在左邊面板中選擇核心對象、選擇“輸出->插入\更新”如圖所示:

 

  編輯插入更新:

  首先:表輸入連接插入更新。

    選中表輸入,按住shift鍵,拖向插入更新。

  然後:雙擊插入更新,編輯它。

 

  到這裏基本上,這個轉換就要做完了,可以點擊運行查看效果,看是否有誤,這個要先保存了才能運行,可以隨意保存到任何一個地方。

5、使用作業控制上面裝換執行。

  使用作業可以定時或週期性的執行轉換,新建一個作業。並從左邊面板拖入start 和轉換。

  

  雙擊start可以編輯,可以設置執行時間等等

  點開裝換,可以設置需要執行的轉換任務,比如可以執行上面我們做的轉換,XXX.ktr

  最後點擊運行即可。

 

  到這裏,一個簡單的通過作業調度的kettle就算做完了。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章