原创 分佈式RPC調用時候Java枚舉類型類型版本不一致導致反序列化結果錯誤

業務系統中由於API層與業務實現層使用的是RPC框架調用,該RPC爲公司內部自己研發。由於發佈時候服務端的部署同學忘記發佈到Maven服務器,導致客戶端依賴的是舊版的依賴,新版舊版對比信息如下: 當客戶端調用時候傳入枚舉參數爲:BUSI

原创 Java中多層異常包裹時候獲取最底層的最真實異常-分析Java異常棧

示例代碼: import java.util.concurrent.Callable; import java.util.concurrent.ExecutorService; import java.util.concurrent.E

原创 Phoenix HBase VS ClockHouse

1:Phoenix 查詢過程 2:Phoenix索引,二級索引 3:ClickHouse 4:https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-bigdata-hb

原创 MySQL中的case when then end中對於NULL值判斷容易犯錯的地方

sql中的case when 有點類似於Java中的switch語句,比較靈活,但是在Mysql中對於Null的處理有點特殊,之前被這個問題困擾過,這次又被困擾了,好記性不如亂筆頭,還是記一下印象會深刻一點。Mysql中case when

原创 Spring事務實現源碼之事務實現以及Connection的綁定與獲取

PlatformTransactionManager是spring事務的高級抽象,事務的實現需要藉助PlatformTransactionManager完成,該管理主要方法如下: 當我們在使用事務的時候,需要調用如下方法獲取一個事務狀態

原创 計算機網絡之傳輸層

前言 傳輸層是面向通信部分的最頂層,是面向應用的最底層。面向通信部分,距離傳輸層最近的網絡層,因此本文會將傳輸層與網絡層在必要時候進行對比。   傳輸層作用: 網絡層提供的是主機之間的邏輯通信,而傳輸層提供的是通信雙方的進程之間的邏輯通信

原创 關於自動裝箱與拆箱在反射調用中引起的注意

1:首先先說一下什麼是自動裝箱與拆箱?太基本的概念就不說了,直接百度就可以,直接丟上來一個例子就可以知道了。int one = 1; // compile error 編譯錯誤就可以確定變量one不是Integer類型,因此Integer

原创 代碼形式提交Spark作業

Spark作業提交方式一般有兩種,一種是使用spark-submit腳本進行提交作業,另一種方式是使用rest api方式,但是有時候由於集羣的安全原因可能無法使用rest api方式進行提交作業,但是由於業務需要的話我們可以直接調用Sp

原创 Hive之UDF定義與使用

    import org.apache.hadoop.hive.ql.exec.UDF; import java.util.Map; public class MeidiNoiseUdf extends UDF { p

原创 Zeppelin遠程調試之旅

(1)磨刀不誤砍柴工,首先配置調試環境:zeppelin安裝參見:https://blog.csdn.net/dax1n/article/details/57079534配置遠程調試環境:export ZEPPELIN_JAVA_OPTS

原创 Junit關於併發執行測試的源碼簡單分析和使用

併發執行測試用例目的很簡單:就是爲了高效使用資源降低測試時間,俗話說天下武功,唯快不破,對,就是求追速度。Junit中有關並行執行測試的關鍵組件爲ParallelComputer,ParallelComputer的基類爲Computer。

原创 心存敬畏之心,方能行有所止

毛澤東曾這樣評價過曾國藩: “我於近人,獨服曾文正。”曾國藩,字文正,我國近代史上一位赫赫有名的軍事家、政治家和理學家,晚清第一名臣。心存敬畏意識,保持頭腦清醒,是曾國藩一生爲官從政之道的核心。他之所以能取得如此大的成就,與其謀略過人、堅

原创 MySQL數據庫的Query優化

前言 由於Query語句對數據庫性能的影響非常大,因此優化查詢語句也是解決性能問題的重要一環。重點分析的MySQL Query Optimizer,其主要的功能就是通過計算分析系統中收集的各種統計信息,爲客戶端請求的Query 給出它認爲

原创 高性能MySQL之Schema設計對系統性能的影響

  最近項目接觸數據庫有關設計的內容,平時接觸大數據以及後臺開發偏多,數據庫設計的東西接觸較少,最近打算系統學習下,本文主要是對高性能MySQL書籍中的內容進行一個簡短的總結以及個人理解,記錄一下學習的過程。   前言: 與數據庫交互的軟

原创 數據庫Schema設計中數據類型對性能影響需要考慮的要點

實際上在很多數據庫的設計優化文檔中都有關於通過優化數據類型的優化說明內容,在我們同樣也可以通過數據類型的優化達到優化整個Schema 設計的目的。   優化數據類型提高性能的主要原理在於以下幾個方面:         1. 通過選用更“小