原创 DataX系列10-DataX優化
一. DataX優化概述 當覺得DataX傳輸速度慢時，需要從上述四個方面着手開始排查。 網絡本身的帶寬等硬件因素造成的影響； DataX本身的參數； 從源端到任務機； 從任務機到目的端； 1.1 網絡帶寬等硬件因素困擾 此部
2023-03-24 00:09:24
原创 Dolphinscheduler調度spark任務踩坑記錄
1、關於spark調度的worker部署 我在測試Dolphinscheduler時採用的是集羣模式，兩臺機器部署master，兩臺機器部署worker，而hadoop和spark則是在其他的機器上部署的。在配置dolphinschedul
2023-03-22 12:06:29
原创 kettle入門實戰
一、kettle概述 1、什麼是kettle Kettle是一款開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運行，綠色無需安裝，數據抽取高效穩定。 2、Kettle工程存儲方式 （1）以XML形式存儲 （2
2023-03-21 00:04:36
原创 【Mysql&clickhouse】Mysql增量同步數據到clickhouse
1.實現原理 基於datax同步功能，datax-web增量功能，clickhouse的ReplacingMergeTree分區合併功能實現增量同步（包含單條數據的修改後同步） 2.前置條件 datax沒有clickhousewriter插
2023-03-08 23:45:17
原创 mysql JDBC URL格式各個參數詳解
mysql JDBC URL格式如下： jdbc:mysql://[host:port],[host:port].../[database][?參數名1][=參數值1][&參數名2][=參數值2]... 現只列舉幾個重要的參數，如下表所示：
2023-02-27 23:43:04
原创 ElasticSearch如何使用以及java代碼如何查詢並排序ES中的數據（距離排序）返回距離
一.環境準備 1.elasticsearch壓縮包、kibana插件、head-master插件，具體怎麼安裝配置，小夥伴們可以自行百度網上很多案例 可參考：https://blog.csdn.net/sinat_42338962/arti
2023-02-21 12:02:59
原创 Java單測代碼生成工具之Evosuite
EvoSuite 是由 Sheffield 等大學聯合開發的一種開源工具，用於自動生成測試用例集，生成的測試用例均符合 Junit的標準，可直接在 Junit 中運行。 通過使用此自動測試工具能夠在保證代碼覆蓋率的前提下極大地提高測試人員的
2023-02-17 11:44:26
原创 Java 項目自動生成單元測試插件推薦
一 單元測試的優缺點 優點: 1 幫助開發人員編寫代碼,提升質量,減少bug.比如說寫代碼是沒有考慮到某些case條件或者邊際條件,其中很重要的一個原因是我們思考不足,而編寫單元測試.特別是提前編寫單元測試可以減少這類問題的出現 2 提升
2023-02-17 11:44:24
原创 ClickHouse合併樹MergeTree家族表引擎之ReplacingMergeTree詳細解析
目錄 建表語法 數據處理策略 資料分享 參考文章 MergeTree擁有主鍵，但是它的主鍵卻沒有唯一鍵的約束。這意味着即便多行數據的主鍵相同，它們還是能夠被正常寫入。在某些使用場合，用戶並不希望數據表中含有重複的數據。Replacin
2023-02-16 00:07:34
原创 ClickHouse如何更新數據（精）
ClickHouse系列文章： ClickHouse如何更新數據 ClickHouse Join爲什麼被大家詬病？ 有必要了解下ClickHouse的索引原理 問題背景 在 OLAP 數據庫中，可變數據通常不受歡迎。ClickHous
2023-02-16 00:07:11
原创 9款日誌管理工具大比拼，選型必備！
簡介 對於日誌管理當前網絡上提供了大量的日誌工具，今天就給大家分析總結一下這些常用工具的特點，希望對你們在選型時有所幫助，如果有用記得一鍵三連。 1、Filebeat Filebeat是用於轉發和集中日誌數據的輕量級傳送程序。作爲服
2023-02-06 23:41:28
1
原创 Spring循環依賴 This is often the result of over-eager type matching - consider using 'getBeanNamesOfT...
結論：當A、B對象之間相互依賴，A早於B實例化，並且A對象使用了@Async註解或由BeanPostProcessor後置處理器返回了代理對象時，會產生以下報錯： org.springframework.beans.factory.Bea
2023-01-18 23:40:30
原创 Maven依賴管理之BOM
目錄 什麼是BOM 一個BOM的格式 怎麼使用BOM 通過parent引用 通過dependencyManagement引用 怎麼查看依賴的某個BOM的具體清單 版本衝突時的一些規則 何爲依賴調節 參考資
2023-01-17 11:41:26
原创 SpringBoot 中集成 GraphQL：入門篇
說實話，網上這玩意資料太少了，用的人也挺少的，不是因爲技術需求，估計大家都不會想用，這次來把這個小東西稍微記錄一下 一、關於 GrapQL 1、什麼是 GraphQL？ 官方解釋：一種用於 API 的查詢語言 看了這句話之後我是懵逼的，沒看
2023-01-11 23:40:40
原创 Swagger2 只顯示部分接口 提示：Finished Loading Resource Information. Rendering Swagger UI...
起因：上週新寫了功能，本地是用Swagger2 去調試接口，接口寫完了，Swagger頁面發現沒有，之前的部分接口也沒有刷出來，但是用postman去請求我新寫的接口，是正常訪問的。初步判斷是Swagger 攔截的問題，會提示：Finish
2023-01-06 23:39:55