還不會使用大數據ETL工具Kettle,你就真的out了!

寫在前面: 博主是一名軟件工程系大數據應用開發專業大二的學生,暱稱來源於《愛麗絲夢遊仙境》中的Alice和自己的暱稱。作爲一名互聯網小白,寫博客一方面是爲了記錄自己的學習歷程,一方面是希望能夠幫助到很多和自己一樣處於起步階段的萌新。由於水平有限,博客中難免會有一些錯誤,有紕漏之處懇請各位大佬不吝賜教!個人小站:http://alices.ibilibili.xyz/ , 博客主頁:https://alice.blog.csdn.net/
儘管當前水平可能不及各位大佬,但我還是希望自己能夠做得更好,因爲一天的生活就是一生的縮影。我希望在最美的年華,做最好的自己!

        最近在做一個數倉項目,其中就用到了Kettle。對於像我這樣的小白來說,自然也是第一次使用。但好在熟能生巧,在快速掌握瞭如何使用之後,便打算單獨拿一期來好好爲大家科普一下什麼是Kettle,以及如何簡單入門~

在這裏插入圖片描述


可視化ETL工具

        ETL,是英文Extract-Transform-Load的縮寫,用來描述將數據從來源端經過抽取(extract)、轉換(transform)、加載(load) 至目的端的過程。ETL一詞較常用在數據倉庫,但其對象並不限於數據倉庫

Kettle介紹

        對於企業或行業應用來說,經常會遇到各種數據的處理,轉換,遷移,掌握一種etl工具的使用,必不可少,這裏要學習的ETL工具是——Kettle,現在已經更名爲PDI

        Kettle的主要特點如下:

  • Kettle是一款國外開源的ETL工具,純java編寫,可以在Window、Linux、Unix上運行,綠色無需安裝
  • Kettle 中文名稱叫水壺,該項目的主程序員MATT 希望把各種數據放到一個壺裏,然後以一種指定的格式流出
  • Kettle允許管理來自不同數據庫的數據,提供一個圖形化的用戶環境來描述想做什麼,無需關心怎麼做

        既然Kettle這麼重要,那接下來讓我們看看在大數據崗位中對於Kettle的掌握要求。

大數據崗位需求

在這裏插入圖片描述


在這裏插入圖片描述


在這裏插入圖片描述


在這裏插入圖片描述


        通過對上面大數據崗位的職位需求信息可以發現,越來越多的企業要求程序員掌握Kettle這門技術

        那此時看到這裏的你若跟博主最初一樣,心裏想着我不會使用Kettle怎麼辦啊…別急,停止焦慮,繼續認真往下看👇

在這裏插入圖片描述

Kettle安裝,配置

環境要求:

  • 安裝、配置好JDK

1.下載Kettle(體貼的博主已經爲大家準備好了)

鏈接:https://pan.baidu.com/s/1MxwhWmXWCUthOhhZ53HQ-Q 
提取碼:eupb

2.解壓Kettle

我們打開data-integration目錄,雙擊Spoon.bat即可成功打開Kettle
在這裏插入圖片描述
然後就會看到類似這樣的界面
在這裏插入圖片描述
當成功打開之後,就可以看到
在這裏插入圖片描述
既然都打開了,咱不能閒着,趕緊跟着本菌的步伐,上手下面羅列出的入門案例。

入門案例

提前聲明:以下案例所需要的數據源博主均已備好並與壓縮包放置網盤,需要的朋友請自取😎。

Test1 csv - excel

需求:

  • 把數據從CSV文件(ketttle測試數據\用戶數據源\user.csv)抽取到Excel文件

具體步驟:

1.新建一個轉換
在這裏插入圖片描述
2.拖拽一個CSV輸入組件、一個Excel輸出組件、並按住Shift拖動鼠標連接兩個組件
在這裏插入圖片描述
在這裏插入圖片描述
拖拽完成後,使用Ctrl+Alt 將兩個組件連接起來
在這裏插入圖片描述
3.配置CSV輸入組件
在這裏插入圖片描述
點擊預覽數據
就可以看到數據輸入的內容
在這裏插入圖片描述

4.配置Excel輸出組件
在這裏插入圖片描述
在這裏插入圖片描述
5.配置完畢,點擊運行,保存操作記錄文件,然後就可以下面的結果
在這裏插入圖片描述
6.觀察輸出文件
在這裏插入圖片描述
若看到上面的結果,說明大家操作成功了~

Test2 json-excel

需求:

  • 將資料\kettle測試數據\用戶數據源\user.json數據文件,通過Kettle,抽取到Excel中

user.json文件中就是類似這樣的數據
在這裏插入圖片描述
因爲有了第一題的基礎,所以下面爲了節約大家的閱讀時間,所以博主將只講重點的地方

1.拖拽出一個Json 輸入組件和 Excel輸出組件並連接
在這裏插入圖片描述
2.配置Json輸入組件
在這裏插入圖片描述
注意:這裏只有選擇了輸入的字段,下面預覽數據才能看到數據
在這裏插入圖片描述
在這裏插入圖片描述
預覽數據
在這裏插入圖片描述
3.配置Excel輸出組件
在這裏插入圖片描述

4.運行

在這裏插入圖片描述
看到轉換完成的日誌結果,我們打開文件查看

在這裏插入圖片描述
很棒,爲你們點贊(๑•̀ㅂ•́)و✧

Test3 mysql -excel

1.拖拽出一個表輸入組件和Excel輸出組件並連接

在這裏插入圖片描述
2.配置表輸入

注意:無論連接的是本地還是集羣上的Mysql,都需要先開啓數據庫服務。
在這裏插入圖片描述
在上面一步創建連接時指定的連接名稱的數據庫中選擇需要作爲輸入的表
在這裏插入圖片描述
在這裏插入圖片描述
3.配置Excel輸出組件
在這裏插入圖片描述
4.運行
在這裏插入圖片描述
看到轉換完成的日誌結果後,打開作爲輸出的Excel文件,nice,又成功了!
在這裏插入圖片描述


總結

        看到這裏,相信大家還是意猶未盡(又在想peach…),但苦於篇幅有限,本菌也只能暫且爲大家帶來這麼多。本篇只列出三個案例,簡單帶着沒使用過的朋友入了下門。其實關於Kettle的更多複雜使用還沒在這裏細講,至少在我所需要掌握的範圍內,就多達幾十個

        很佩服能堅持看到這裏的各位朋友,爲你們點個贊👍

        放心,關於Kettle更多的操作,博主都會補給大家😎

        誰讓我有一批這麼帥氣的粉絲呢٩(๑❛ᴗ❛๑)۶

        如果對你有所幫助,記得點贊評論關注三連|ू・ω・` )

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章