台部落慕容塵軒

1、Funnel （漏斗），Funnel是 NiFi 組件，用於將多個連接中的數據合併到一個連接中。使用場景：nifi中的Funnel組件用於合併多個數據流並將它們傳遞到下游處理器。它可以將來自不同來源的數據流合併到一個數據流中，方便後續

2024-04-27 13:07:40

1、端口（Port），包含輸入端口（Input Port）和輸出端口（Out Port ）使用一個或多個處理組構建的數據流需要一種方式將處理組連接到其他數據流組件。處理組和處理組之間可以通過使用端口來進行連接。這裏的端口和kettle中

2024-04-26 13:07:40

1、目前nifi系列已經更新了10多篇教程了，跟着教程走的同學應該已經對nifi有了初步的解，但是我相信同學們應該有一個疑問：nifi設計好的數據流列表在哪裏？如何同時運行多個數據流？如啓停單個數據流？帶着這些疑問，今天的主角nifi P

2024-04-25 13:07:37

1、上一節課我們學習了處理器PushKafka，通過該處理器往kafka中間件寫數據，今天我們一起學習處理器ConsumeKafka，此處理器從kafka讀取數據進行後續處理，如下圖所示：本次示例比較簡單：處理器ConsumeKafk

2024-04-24 13:07:50

1、kettle的kafka生產者叫kafka producer，nifi中的相應處理器爲PublishKafka，如下圖所示：可以很清楚的看到PublishKafka處理器支持多個版本的kafka，選擇時要根據自己的kafka 版本選

2024-04-23 13:07:40

1、上一節課我們學習了MQTT producer 生產者步驟，MQTT consumer消費者步驟。該步驟可以從支持MRQTT協議的中間件獲取數據，該步驟和kafka consumer 一樣可以處理實時數據交互，如下圖所示： 2、雙擊步

2024-04-22 13:07:40

1、MQTT介紹 MQTT (Message Queuing Telemetry Transport) 是一種輕量級的消息傳輸協議，設計用於連接低帶寬、高延遲或不可靠網絡的設備。 MQTT 是基於發佈/訂閱模式（Publish/Subscr

2024-04-22 13:07:40

1、處理器QueryDatabaseTableRecord和處理器QueryDatabaseTable比較相似，該組件生成一個 SQL 查詢，或者使用用戶提供的語句，並執行它以獲取所有在指定的最大值列中值大於先前所見最大值的行。QueryD

2024-04-18 13:07:44

1、處理器QueryDatabaseTable，該組件生成一個 SQL 查詢，或者使用用戶提供的語句，並執行它以獲取所有在指定的最大值列中值大於先前所見最大值的行。查詢結果將被轉換爲 Avro 格式，如下圖所示：本示例通過QueryD

2024-04-17 13:07:41

1、上一節課我們講解了nifi處理器UpdateAttribute，專門用來更新flowFile的屬性字段。本節課我們一起來學習UpdateRecord，該處理器用來更新flowFile的流文件內容數據，如下圖所示本節教程比較簡單，涉

2024-04-16 13:07:47

1、上一節課我們學習了avro input，本節課我們一起學習下avro out步驟。本節課通過json input 加載json文件，通過avro out 生成avro二進制文件，寫日誌步驟打印日誌。將json input、avro o

2024-04-15 13:08:23

1、在這裏我們重溫下nifi裏面一個重要的概念FlowFile，如下圖所示： FlowFile：FlowFile代表NiFi中的單個數據。nifi數據流中流動的就是flowfile，每個nifi處理器處理的數據也是基於flowfile的。

2024-04-15 13:08:23

1、今天我們一起來學習下處理器RouteOnAttribute，此處理器的作用是根據屬性值進行路由進而來控制數據流的走向。類似於java中的if-else或者switch-case。如下圖所示。 GenerateFlowFile 產生測

2024-04-10 13:07:47

1、其實這一節課本來按照計劃一起學習RouteOnAttribute處理器（相當於java中的ifelse，switch case 控制語句），但是在學習的過程中遇到了一些問題。RouteOnAttribute 需要依賴處理器Evaluat

2024-04-09 13:07:43

1、本節通過一個小例子來講解下處理器PutDatabaseRecord，該處理器的作用是將數據寫入數據庫。如下流程通過處理器GenerateFlowFile 生成數據，然後通過處理器JoltTransformJSON轉換結構，最後通過處理

2024-04-06 13:07:36