原创 JVM內存模型——堆及垃圾回收.md

本節簡單梳理下JVM運行時堆上的內存模型,以及垃圾回收的的知識點。 堆是JVM運行時數據區域,所有類實例和數組的內存均從此處分配。堆是在 Java 虛擬機啓動時創建的。對象的堆內存由稱爲垃圾回收器的自動內存管理系統回收。 非堆內存 J

原创 如何判斷一個元素在億級數據中是否存在?

1.前言 最近有朋友問我這麼一個面試題目: 現在有一個非常龐大的數據,假設全是 int 類型。現在我給你一個數,你需要告訴我它是否存在其中(儘量高效)。 需求其實很清晰,只是要判斷一個數據是否存在即可。 但這裏有一個比較重要的前提

原创 Spring事件處理——onApplicationEvent執行兩次.md

我們知道Spring有兩大類事件,一類是Application事件,超類是SpringApplicationEvent,這類事件是在Spring程序啓動時,過程中分爲幾個階段,每進行一個階段,發出一個事件,依次對應Applicatio

原创 Spring啓動過程中Application事件的監聽與處理.md

這篇博客是解決一個實際問題,在解決過程中梳理SpringApplicationEvent的運行機制和使用方法。這個問題是,微服務架構下,需要依次啓動多個服務,服務之間存在運行時的依賴關係,必須保證多個服務的啓動順序。所以決定從Spri

原创 JVM內存模型——虛擬機棧詳細講解.md

0.JVM運行時數據模型 Java 虛擬機的內存模型分爲兩部分:一部分是線程共享的,包括 Java 堆和方法區;另一部分是線程私有的,包括虛擬機棧和本地方法棧,以及程序計數器這一小部分內存。 1.程序計數器和本地方法棧 程序計數器和

原创 Beam分詞計數.md

1.PCollection.apply介紹 在文章開始之前,先來介紹下PCollection.apply方法: public OutputT apply( String name, PTransform<? super PColle

原创 深入理解和實踐git merge.md

1.git merge的簡單理解 看下git merge的命令: git merge hotfix 例如當前的分支是master,那麼這條命令的意思就是,將hofix分支的的修改同步到master分支。 2. git merge 的兩

原创 Beam系列一 Beam介紹及簡單使用.md

1.簡介 簡單地說,Apache Beam是一個實時處理、流處理的大數據框架,由Google DataFlow貢獻給 Apache 基金會孵化而來。 2.應用場景 以下爲應用場景的幾個例子: 1.Beam 可以用於 ETL Job 任

原创 最常用的git命令.md

1.最常用的git命令 1.git add會把工作時的所有變化提交到暫存區 git add file 提交單個文件 git add . 提交所有文件 2.git commit 主要是將暫存區裏的改動給提交到本地的版本庫 git com

原创 Java類加載器和雙親委派模型.md

0.類加載過程 一般來說,類加載分爲3個過程,加載,鏈接和初始化。 1.加載階段,是Java將字節碼數據從不同數據源讀取到JVM中,並映射爲JVM認可的Class對象,這裏的數據源可能有Jar包,class文件,甚至網絡數據源等。如果

原创 運維常用的shell命令.md

1.後臺啓動腳本 nohup ./start.sh > /dev/null 2>&1 & dev/null代表linux的空設備文件,所有往這個文件裏面寫入的內容都會丟失,俗稱“黑洞” 2>&1錯誤輸出2重定向到標準輸出1,意思是標準

原创 AtomicInteger的實現原理.md

1.基本 AtomicInteger是對Integer類型的一個包裝,提供原子性的訪問和更新操作。其原子性的操作是基於CAS實現的。 CAS的過程是這樣,執行運算時,使用當前數據值作爲判斷條件,利用CAS指令視圖進行更新。更新之前獲取

原创 Spring的JmsTemplate發送消息生成連接過多問題.md

我在使用SpringCloud框架重構我司的採集適配器時,使用的消息中間件有兩個,一個是kafka,接收處理網關上報的原始數據。通過採集器的數據處理器之後,封裝成爲平臺對象,發送到ActiveMq,進入平臺業務系統。ActiveMq生

原创 mvn deploy時返回400解決方法.md

使用mvn deploy命令,將打包後的jar包上傳到私服時,出現了下面的問題: Return code is: 400, ReasonPhrase: Bad Request. -> [Help 1] 一般通用有3個導致出現上面問題的

原创 《Hadoop學習筆記系列》二.Hadoop分佈式文件系統 HDFS

0.Hadoop分佈式文件系統 HDFS HDFS以流式數據訪問模式來存儲超大文件,運行與商用硬件集羣上。 1.流式數據訪問 HDFS的構建思路:一次寫入,多次讀取是最高效的訪問模式。 2. Block數據塊 HDFS基本讀寫單位,類