原创 kettle從入門到精通 第五十七課 ETL之kettle調用存儲過程
1、之前有個同學說他使用kettle執行一坨sql語句時，kettle直接卡死掉了。我給出的建議是使用存儲過程，果不其然使用存儲過程順利解決問題。 今天我們一起來學習下kettle如何調用存儲過程，這裏基於mysql進行演示。調用存儲過程有
2024-05-10 13:07:42
原创 kettle從入門到精通 第五十六課 ETL之kettle Microsoft Excel Output
1、9.4 版本的kettle中有兩個Excel輸出，Excel輸出和Microsoft Excel輸出。前者只支持xls格式，後者支持xls和xlsx兩種格式，本節課主要講解步驟Microsoft Excel輸出，如下圖所示： 1）、
2024-05-06 13:07:39
原创 kettle從入門到精通 第五十五課 ETL之kettle Excel輸入
1、 Excel輸入，Microsoft Excel輸入步驟的作用是從Microsoft Excel中讀取數據，如下圖所示： 1）Excel輸入步驟從文件D:\data\測試數據.xlsx讀取數據。 2）將數據通過寫日誌步驟打印出來。 2
2024-05-06 13:07:39
原创 ETL工具-nifi乾貨系列 第十八講 nifi Funnel實戰教程
1、Funnel （漏斗），Funnel是 NiFi 組件，用於將多個連接中的數據合併到一個連接中。 使用場景：nifi中的Funnel組件用於合併多個數據流並將它們傳遞到下游處理器。它可以將來自不同來源的數據流合併到一個數據流中，方便後續
2024-04-27 13:07:40
原创 ETL工具-nifi乾貨系列 第十七講 nifi Input Port&Out Port 實戰教程
1、端口（Port），包含輸入端口（Input Port）和輸出端口（Out Port ） 使用一個或多個處理組構建的數據流需要一種方式將處理組連接到其他數據流組件。 處理組和處理組之間可以通過使用端口來進行連接。這裏的端口和kettle中
2024-04-26 13:07:40
原创 ETL工具-nifi乾貨系列 第十六講 nifi Process Group實戰教程，一文輕鬆搞定
1、目前nifi系列已經更新了10多篇教程了，跟着教程走的同學應該已經對nifi有了初步的解，但是我相信同學們應該有一個疑問：nifi設計好的數據流列表在哪裏？如何同時運行多個數據流？如啓停單個數據流？ 帶着這些疑問，今天的主角nifi P
2024-04-25 13:07:37
原创 ETL工具-nifi乾貨系列 第十五講 nifi處理器ConsumeKafka實戰教程
1、上一節課我們學習了處理器PushKafka，通過該處理器往kafka中間件寫數據，今天我們一起學習處理器ConsumeKafka，此處理器從kafka讀取數據進行後續處理，如下圖所示： 本次示例比較簡單：處理器ConsumeKafk
2024-04-24 13:07:50
原创 ETL工具-nifi乾貨系列 第十四講 nifi處理器PublishKafka實戰教程
1、kettle的kafka生產者叫kafka producer，nifi中的相應處理器爲PublishKafka，如下圖所示： 可以很清楚的看到PublishKafka處理器支持多個版本的kafka，選擇時要根據自己的kafka 版本選
2024-04-23 13:07:40
原创 kettle從入門到精通 第五十三課 ETL之kettle MQTT/RabbitMQ consumer實戰
1、上一節課我們學習了MQTT producer 生產者步驟，MQTT consumer消費者步驟。該步驟可以從支持MRQTT協議的中間件獲取數據，該步驟和kafka consumer 一樣可以處理實時數據交互，如下圖所示： 2、雙擊步
2024-04-22 13:07:40
原创 kettle從入門到精通 第五十三課 ETL之kettle MQTT/RabbitMQ producer 實戰
1、MQTT介紹 MQTT (Message Queuing Telemetry Transport) 是一種輕量級的消息傳輸協議，設計用於連接低帶寬、高延遲或不可靠網絡的設備。 MQTT 是基於發佈/訂閱模式（Publish/Subscr
2024-04-22 13:07:40
原创 ETL工具-nifi乾貨系列 第十四講 nifi處理器QueryDatabaseTableRecord查詢表數據實戰教程
1、處理器QueryDatabaseTableRecord和處理器QueryDatabaseTable比較相似，該組件生成一個 SQL 查詢，或者使用用戶提供的語句，並執行它以獲取所有在指定的最大值列中值大於先前所見最大值的行。QueryD
2024-04-18 13:07:44
原创 ETL工具-nifi乾貨系列 第十三講 nifi處理器QueryDatabaseTable查詢表數據實戰教程
1、處理器QueryDatabaseTable，該組件生成一個 SQL 查詢，或者使用用戶提供的語句，並執行它以獲取所有在指定的最大值列中值大於先前所見最大值的行。查詢結果將被轉換爲 Avro 格式，如下圖所示： 本示例通過QueryD
2024-04-17 13:07:41
原创 ETL工具-nifi乾貨系列 第十二講 nifi處理器UpdateRecord使用教程
1、上一節課我們講解了nifi處理器UpdateAttribute，專門用來更新flowFile的屬性字段。本節課我們一起來學習UpdateRecord，該處理器用來更新flowFile的流文件內容數據，如下圖所示 本節教程比較簡單，涉
2024-04-16 13:07:47
原创 kettle從入門到精通 第五十二課 ETL之kettle Avro output kettle從入門到精通 第八課 kettle JSON輸入
1、上一節課我們學習了avro input，本節課我們一起學習下avro out步驟。 本節課通過json input 加載json文件，通過avro out 生成avro二進制文件，寫日誌步驟打印日誌。將json input、avro o
2024-04-15 13:08:23
原创 ETL工具-nifi乾貨系列 第十一講 處理器UpdateAttribute使用教程
1、在這裏我們重溫下nifi裏面一個重要的概念FlowFile，如下圖所示： FlowFile：FlowFile代表NiFi中的單個數據。nifi數據流中流動的就是flowfile，每個nifi處理器處理的數據也是基於flowfile的。
2024-04-15 13:08:23