原创 kettle從入門到精通 第五十一課 ETL之kettle Avro input ETL工具-nifi乾貨系列 第四講 Avro schema 序列化框架

1、我們在學習nifi的過程中有接觸到Avro schema，當時我在想kettle應該也支持Avro，果不其然kettle也是支持Avro文件的讀和寫的。今天我們一起來學習下kettle中如何使用Avro input 讀步驟。對Avro

2024-04-06 13:07:36

原创 ETL工具-nifi乾貨系列 第七講 處理器JoltTransformJSON（續）

第六講教程只簡單介紹了Jolt的chain轉換模式，本節課介紹下Jolt的各種轉換模式。 點擊的處理器JoltTransformJSON高級配置選項，進行測試Jolt的轉換模式。   1、Cardinality：更改了輸入JSON數據元素

2024-04-03 13:07:45

原创 ETL工具-nifi乾貨系列 第六講 處理器JoltTransformJSON

1、處理器作用 使用Jolt轉換JSON數據爲其他結構的JSON,成功的路由到'success',失敗的'failure'。處理JSON的實用程序不是基於流的，因此大型JSON文檔轉換可能會消耗大量內存。 Jolt：JSON 到 JSON

2024-04-02 13:07:45 1

原创 ETL工具-nifi乾貨系列 第五講 處理器GenerateFlowFile

1、今天我們一起來學習處理器GenerateFlowFile。這個處理器創建帶有隨機數據或自定義內容的 FlowFiles。GenerateFlowFile 對於負載測試、配置和模擬非常有用。從工具欄拖動處理器到畫布，然後選擇Generat

2024-03-29 13:07:39 2

原创 ETL工具-nifi乾貨系列 第三講 nifi web ui 使用教程

1、nifi 服務啓動之後，瀏覽器輸入https://localhost:8443/nifi ,匿名登錄或者輸入用戶名密碼進入操作頁面，如下圖所示： 2、組件工具欄 處理器,鼠標放到圖標上提示Processor，裏面裏面有各種各樣的組件，

2024-03-25 13:08:45

原创 ETL工具-nifi乾貨系列 第一講 揭開nifi神祕面紗

1、nifi簡介 Apache NiFi 是基於流程編程概念的數據流系統。它支持強大且可擴展的數據路由、轉換和系統中介邏輯的有向圖。NiFi具有基於Web的用戶界面，用於設計、控制、反饋和監控數據流。它在多個服務質量維度上都具有高度可配置性

2024-03-23 13:07:37

原创 knife4j/swagger救援第一現場

1、前方來報，測試環境springboot項目無法啓動，現場如下： Error starting ApplicationContext. To display the auto-configuration report re-run yo

2024-03-22 13:07:43

原创 【Java面試題-基礎知識03】Java線程連環問

1、Java中的線程是什麼？ 在Java中，線程是程序執行流的最小單元。每個Java程序都至少有一個主線程，也稱爲主執行線程，它是程序開始執行時自動創建的。除了主線程外，程序員還可以創建額外的線程來執行併發任務。 2、創建線程的方式有哪些？

2024-03-18 13:07:40

原创 【Java面試題-基礎知識02】Java抽象類和接口六連問？

1、抽象類和接口分別是什麼？ 抽象類是一種類，可以包含抽象方法和非抽象方法，抽象方法是沒有具體實現的方法，需要在子類中被具體實現。 接口是一種完全抽象的類，其中的所有方法都是抽象方法，沒有方法體，它只是定義了一組方法的契約。 2、接口中

2024-03-15 13:07:42

原创 kettle從入門到精通 第五十課 ETL之kettle 課程源文件分享

Kettle 是一款功能強大的開源 ETL 工具，被廣泛應用於數據集成、數據轉換和數據加載等領域。隨着數據量和多樣性的不斷增加，使用 Kettle 進行數據處理已成爲許多企業和數據工程師的首選。在過去的幾個月裏，我已經撰寫了將近50篇關於

2024-03-14 13:07:47

原创 【Java面試題-基礎知識01】Java數據類型四連問？

一、Java中的基礎數據類型有哪些？ Java中的基本數據類型包括： 1. byte：8位有符號整數，範圍爲-128到127。2. short：16位有符號整數，範圍爲-32768到32767。3. int：32位有符號整數，範圍爲-214

2024-03-14 13:07:47

原创 kettle從入門到精通 第四十八課 ETL之kettle webspoon

1、kettle自帶的客戶端spoon工具是cs架構，多人協同辦公起來不是特別方便。當然spoon也可以通過文件倉庫設置爲database模式進行協同辦公。每個人在自己電腦上安裝&打開spoon客戶端，然後設置相同的文件倉庫地址。如下圖所示

2024-02-29 13:07:49 3

原创 kettle從入門到精通 第四十九課 ETL之kettle 自定義插件01

1、kettle插件是什麼 kettle本身有足夠多的轉換或者job步驟，但是依然不能覆蓋所有的業務場景，所以Kettle 自定義插件在有些獨特的業務場景可以大顯身手。 Kettle的插件架構使得我們可以不用修改Kettle本身代碼，通過一

2024-02-29 13:07:49

原创 kettle從入門到精通 第四十七課 ETL之kettle mongo output 寫入

1、上一節課我們學習了mongo input讀取步驟，本節課我們一起學習下mongo out 寫入步驟，該步驟可以將數據寫入到mongo中，如下圖所示。  2、 配置mongo連接，有兩種方式，如截圖所示。 Connection Stri

2024-02-24 13:07:41

原创 kettle從入門到精通 第四十五課 ETL之 kettle redis

1、kettle 9.3/9.4 spoon客戶端中默認是沒有redis步驟的，首先想到在kettle的插件市場進行下載redis步驟。  2、可能因爲網絡原因，直接下載失敗了。索性放棄redis原有插件步驟，改爲自己通過java代碼進行實

2024-02-22 13:07:53