原创 ETL工具-nifi乾貨系列 第十三講 nifi處理器QueryDatabaseTable查詢表數據實戰教程
1、處理器QueryDatabaseTable，該組件生成一個 SQL 查詢，或者使用用戶提供的語句，並執行它以獲取所有在指定的最大值列中值大於先前所見最大值的行。查詢結果將被轉換爲 Avro 格式，如下圖所示： 本示例通過QueryD
2024-04-17 13:07:41
原创 ETL工具-nifi乾貨系列 第十二講 nifi處理器UpdateRecord使用教程
1、上一節課我們講解了nifi處理器UpdateAttribute，專門用來更新flowFile的屬性字段。本節課我們一起來學習UpdateRecord，該處理器用來更新flowFile的流文件內容數據，如下圖所示 本節教程比較簡單，涉
2024-04-16 13:07:47
原创 kettle從入門到精通 第五十二課 ETL之kettle Avro output kettle從入門到精通 第八課 kettle JSON輸入
1、上一節課我們學習了avro input，本節課我們一起學習下avro out步驟。 本節課通過json input 加載json文件，通過avro out 生成avro二進制文件，寫日誌步驟打印日誌。將json input、avro o
2024-04-15 13:08:23
原创 ETL工具-nifi乾貨系列 第十一講 處理器UpdateAttribute使用教程
1、在這裏我們重溫下nifi裏面一個重要的概念FlowFile，如下圖所示： FlowFile：FlowFile代表NiFi中的單個數據。nifi數據流中流動的就是flowfile，每個nifi處理器處理的數據也是基於flowfile的。
2024-04-15 13:08:23
原创 ETL工具-nifi乾貨系列 第十講 處理器RouteOnAttribute（數據流路由）
1、今天我們一起來學習下處理器RouteOnAttribute，此處理器的作用是根據屬性值進行路由進而來控制數據流的走向。類似於java中的if-else或者switch-case。如下圖所示。 GenerateFlowFile 產生測
2024-04-10 13:07:47
原创 ETL工具-nifi乾貨系列 第九講 處理器EvaluateJsonPath，根據JsonPath提取字段
1、其實這一節課本來按照計劃一起學習RouteOnAttribute處理器（相當於java中的ifelse，switch case 控制語句），但是在學習的過程中遇到了一些問題。RouteOnAttribute 需要依賴處理器Evaluat
2024-04-09 13:07:43
原创 ETL工具-nifi乾貨系列 第八講 處理器PutDatabaseRecord 寫數據庫（詳細）
1、本節通過一個小例子來講解下處理器PutDatabaseRecord，該處理器的作用是將數據寫入數據庫。 如下流程通過處理器GenerateFlowFile 生成數據，然後通過處理器JoltTransformJSON轉換結構，最後通過處理
2024-04-06 13:07:36
1
原创 kettle從入門到精通 第五十一課 ETL之kettle Avro input ETL工具-nifi乾貨系列 第四講 Avro schema 序列化框架
1、我們在學習nifi的過程中有接觸到Avro schema，當時我在想kettle應該也支持Avro，果不其然kettle也是支持Avro文件的讀和寫的。今天我們一起來學習下kettle中如何使用Avro input 讀步驟。對Avro
2024-04-06 13:07:36
原创 ETL工具-nifi乾貨系列 第七講 處理器JoltTransformJSON（續）
第六講教程只簡單介紹了Jolt的chain轉換模式，本節課介紹下Jolt的各種轉換模式。 點擊的處理器JoltTransformJSON高級配置選項，進行測試Jolt的轉換模式。 1、Cardinality：更改了輸入JSON數據元素
2024-04-03 13:07:45
原创 ETL工具-nifi乾貨系列 第六講 處理器JoltTransformJSON
1、處理器作用 使用Jolt轉換JSON數據爲其他結構的JSON,成功的路由到'success',失敗的'failure'。處理JSON的實用程序不是基於流的，因此大型JSON文檔轉換可能會消耗大量內存。 Jolt：JSON 到 JSON
2024-04-02 13:07:45
1
原创 ETL工具-nifi乾貨系列 第五講 處理器GenerateFlowFile
1、今天我們一起來學習處理器GenerateFlowFile。這個處理器創建帶有隨機數據或自定義內容的 FlowFiles。GenerateFlowFile 對於負載測試、配置和模擬非常有用。從工具欄拖動處理器到畫布，然後選擇Generat
2024-03-29 13:07:39
2
原创 ETL工具-nifi乾貨系列 第三講 nifi web ui 使用教程
1、nifi 服務啓動之後，瀏覽器輸入https://localhost:8443/nifi ,匿名登錄或者輸入用戶名密碼進入操作頁面，如下圖所示： 2、組件工具欄 處理器,鼠標放到圖標上提示Processor，裏面裏面有各種各樣的組件，
2024-03-25 13:08:45
原创 ETL工具-nifi乾貨系列 第一講 揭開nifi神祕面紗
1、nifi簡介 Apache NiFi 是基於流程編程概念的數據流系統。它支持強大且可擴展的數據路由、轉換和系統中介邏輯的有向圖。NiFi具有基於Web的用戶界面，用於設計、控制、反饋和監控數據流。它在多個服務質量維度上都具有高度可配置性
2024-03-23 13:07:37
原创 knife4j/swagger救援第一現場
1、前方來報，測試環境springboot項目無法啓動，現場如下： Error starting ApplicationContext. To display the auto-configuration report re-run yo
2024-03-22 13:07:43
原创 【Java面試題-基礎知識03】Java線程連環問
1、Java中的線程是什麼？ 在Java中，線程是程序執行流的最小單元。每個Java程序都至少有一個主線程，也稱爲主執行線程，它是程序開始執行時自動創建的。除了主線程外，程序員還可以創建額外的線程來執行併發任務。 2、創建線程的方式有哪些？
2024-03-18 13:07:40