原创 hadoop源碼閱讀之代碼抽取
1 package com.m; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; impo
2020-06-16 14:54:02
原创 maven自定義插件 ---- maven高級篇
maven簡介 Maven 作爲一個優秀的項目管理工具，其插件機制爲其功能擴展提供了非常大的便捷性。雖然說大多數情況下，我們可能不太會自己去編寫 Maven 插件，但不排除在某些特殊的情況下，我們需要去完成一個自己的插件，來協助我
2020-06-16 14:54:02
原创 idea遠程debug調試設置
遠程調試需要設置兩個地方: idea調試端 遠程服務端 目前只針對java程序 步驟如下: 1. idea調試端: Run -> Edit Configurations(圖1)-> +號 -> Remote(圖2) -> 配置r
2020-06-16 14:54:02
原创 java鎖系列---分佈式時的文件鎖FileLock(排他鎖)
package com.sm.jboss; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import java.io.File; import java.i
2020-06-16 14:54:02
原创 linux的基本命令----curl操作
curl: 模擬http請求的linux工具 GET請求： curl -i -X GET http://aaa.com/test1/test2?aaa=11\&bbb=22 --cookie "a=b;c=d" 解析: -X GE
2020-06-16 14:54:02
原创 hadoop-3.1.2 Linux 源碼編譯記錄
hadoop-3.1.2 源碼編譯記錄 注: 之前嘗試過win環境的編譯，但是需要安裝的項太多太麻煩，所以換成linux編譯，方便快捷 HOME=/home/compile/software windows編譯的請轉 https
2020-06-16 14:54:02
原创 實體類的註解 (javax.validation.constraints、com.fasterxml.jackson.annotation）
@NotEmpty: 加了@NotEmpty的String類、Collection、Map、數組，是不能爲null或者長度爲0的（String、Collection、Map的isEmpty()方法），一般用於集合，字符串得話可
2020-06-16 14:54:02
原创 java 內部類(嵌套類)、內部接口(嵌套接口)
內部類 Java中的內部類共分爲四種： 靜態內部類：static inner class (also called nested class) 成員內部類：member inner class 局部內部類：local inner
2020-06-16 14:54:02
原创 spark(scala)獲取fsimage,並分析出fsimage中的小文件信息
spark(scala)獲取fsimage,並分析出fsimage中的小文件信息 項目要求: 獲取fsimage並解析, 做聚合操作 採用spark併發處理 // pom.xml <?xml version="1.0" encod
2020-06-16 14:54:01
原创 linux基本命令（四）---- find 命令
find命令 -atime、 -ctime 、 -mtime 關於時間的信息有三個：最近訪問時間 access time （-atime）、最近更改時間 modify time （-mtime） 和 最近狀態改動時間 chang
2020-05-26 16:03:13
原创 基數統計、DV(distinct Value)、UV(Unique Visitor)高級算法----HyperLogLog
目錄 問題原形 條件選擇 HyperLogLog 伯努利試驗 估算的優化 扯上關係 比特串 分桶 對應 Redis 中對 HyperLogLog 的應用 Redis 中的 HyperLogLog 原理 偏差修正 巨人的肩膀 問
2020-04-23 05:30:21
原创 hadoop-2.9.2 window 源碼編譯記錄
依賴項 linux安裝的請轉 https://blog.csdn.net/miracle_8/article/details/105111982 參考hadoop-2.9.2-src/BUILDING.txt * Windows
2020-04-02 01:52:36
原创 手動執行加載日誌配置文件
在啓動項目後，發現自己定義得日誌文件死活打印不出來，jar包衝突已經排除，日誌配置文件的正確性已經排除，並且這時項目急着上線，該怎麼辦呢？ 答案是：自己主動去加載日誌文件，步驟如下： 注： a. 本例是web程序 b. 有
2020-03-15 13:04:24
原创 公鑰和私鑰
簡介 公鑰和私鑰就是俗稱的不對稱加密方式，是從以前的對稱加密(使用用戶名與密碼)方式的提高。用電子郵件的方式說明一下原理。 使用公鑰與私鑰的目的就是實現安全的電子郵件，必須實現如下目的： 我發送給你的內容必須加密，在郵件的傳輸過
2020-02-23 01:46:37
原创 maven的pom.xml詳解
maven的pom.xml各種情況的說明 現在的maven使用基本都是採用多模塊的形式，父模塊 -> 子模塊(或父模塊 -> 子模塊) 目錄結構 目錄說明： 【03-maven-test】：是父模塊 【03-test-modul
2020-02-23 01:46:37