原创 [Dubbo] Dubbo 反序列化將Pair轉化成HashMap的問題

問題描述 Dubbo 在3.2.x 版本中,類檢查級別默認是STRICT 3.1 版本中默認爲 WARN 告警級別,3.2 版本中默認爲 STRICT 嚴格檢查級別。 不配置的情況下,會將名單以外的類型轉化成Map。 如何支持 Pair

原创 龍年-數據庫時間類型字段精度問題 datetime類型的精度

數據庫時間類型字段精度問題 理論 Datetime Timestamp保存毫秒 防止精度丟失 數據庫字段爲 DATETIME(3) 時可以保存毫秒。 工程經驗 當數據庫爲MariaDb 10.x.x,則需要jdbc驅動需更換爲 mar

原创 龍年-2月學習到的新知識

數據庫時間類型字段精度問題 Datetime Timestamp保存毫秒 防止精度丟失 數據庫字段爲 DATETIME(3) 時可以保存毫秒。 當數據庫爲MariaDb 10.x.x,則需要jdbc驅動需更換爲 mariadb connn

原创 Github 解決 Recv failure: Connection reset by peer

問題現象 git pull 時報錯 Recv failure: Connection reset by peer 問題原因 第一類:網絡問題,這一部分通過命令檢查gitconfig 排查是否有 http https proxy的問題。 第

原创 【Flink系列二十一】深入理解 JVM的類型加載約束,解決 Flink 類型加載衝突問題的通用方法

class ByteArrayDeserializer is not an instance of org.apache.kafka.common.serialization.Deserializer Debugging Classload

原创 APISIX dubbo-proxy 實戰

APISIX APISIX 聲稱支持 Dubbo Proxy 實踐 主要是 APISIX 官方網站上的這篇博客寫的問題很大。 博客上寫的 HTTP2DubboService 實現類 @Component public class HTTP2

原创 Hadoop API 通過租戶代理訪問 Kerberos 安全 Hadoop 集羣

概述 訪問HDFS其實很簡單 這裏記錄一些方法,具備下面的特徵: 通過租戶代理訪問 Kerberos 認證的 HADOOP 資源 獲取 FileSystem 對象的技巧:FileSystem.get(URI, configuration)

原创 【Flink系列二十】Flink Example AsyncIOExample long running 應用程序的應用

Flink AsyncIOExample Flink 的源碼內有這麼一個AsyncIOExample程序,非常好用,可以用來無限跑流。 用英文說就是long running或者runs forever。 同時可以用來測試checkpoint

原创 【Flink系列十九】java.lang.NoSuchMethodError: org.apache.hadoop.tracing.TraceUtils.wrapHadoopConf

問題 Flink 提交作業,直接報錯: java.lang.NoSuchMethodError: org.apache.hadoop.tracing.TraceUtils.wrapHadoopConf(Ljava/lang/String;L

原创 【Flink系列十八】HDFS_DELEGATION_TOKEN過期的問題解決彙總

問題類別 Spark框架自身的問題 Hadoop全家桶的問題 開發者通過Hive,HDFS,HBASE訪問HDFS的問題 排查 已知Hadoop-common-2.6.0的UGI存在bug,代碼爲HADOOP-10786,該問題在CD

原创 【Java複雜系統實戰經驗-2023-08月】Java基礎,Path路徑計算編碼

Java程序設計-個人月報-2023-08月 背景 在本月,給負責的項目做了一次文件存儲的遷移工作。 歷史原因,開發階段由於圖簡便,使用了本地文件存儲。 後面經過容器化上雲,導致應用出現上傳文件分發的多節點的問題。 本項工作的經驗,受益於J

原创 【Openstack 4j】如何指定Nova的版本

背景 在使用openstack4j的過程中,發現openstack的版本和文檔有一些問題。 openstack4j 通過Identity服務返回的catalog信息,獲取Endpoint節點,訪問例如nova-compute的服務。 而由於

原创 Maven cheat sheet 手抄:從入門到無語

Maven cheat sheet 手抄 寫給懶人看的 概念 生命週期由階段構成:validate,compile,test,package,verify,install,deploy 基礎 基礎編譯:mvn clean package

原创 【Maven】多模塊項目打包最佳實踐

背景 一個多模塊項目,一級子模塊就有7個,一部分模塊還有自己的子模塊,包含了純pom,jar的各種模塊。 主要的子模塊是 SpringBoot項目, 需要打包成一個可執行jar。 目標 WHAT 主要:使得項目易於構建部署,適應不同場景下的

原创 【Flink系列十八】History Server 重新登場,如何跟Yarn進行集成

先看Flink的官方文檔 本文適用於Flink-1.11+ History Server 至少Flink-1.16+ JobManager The archiving of completed jobs happens on the Job