原创 PostgreSql遞歸查詢(WITH RECURSIVE)
一、背景 數據庫中存在父子關係的數據，如果要查它及所以子記錄，或者查它及所有父記錄數據，用遞歸查詢再合適不過了。通常我們的分級加載就可以用這個來實現。以地區表爲例來說明 二、建表、造數據 CREATE TABLE pla
2020-07-04 22:03:11
原创 Spring之@EnableRedisHttpSession註解
在集羣系統中，經常會需要將Session進行共享。不然會出現這樣一個問題：用戶在系統A上登陸以後，假如後續的一些操作被負載均衡到系統B上面，系統B發現本機上沒有這個用戶的Session，會強制讓用戶重新登陸。此時用戶會很疑惑，自己明明登陸
2020-07-04 22:03:11
原创 PostGresql四捨五入、小數轉換、百分比用法
需求：兩個整數相除，保留兩位小數並四捨五入，完了轉成百分比形式，即4/5=0.80=80% 1.兩個整數相除： idn_dw=> select 4/5; ?column? ---------- 0 (1 row) 在sq
2020-07-04 22:03:11
42
原创 Linux常用命令--df查看磁盤空間
df命令是用來查看linux服務器文件系統的磁盤佔用情況。 基本格式 df [選項] [目錄或文件名] 官方參數 -a, --all include dummy file systems -B, --
2020-07-04 22:03:11
原创 AES加密java程序
import sun.misc.BASE64Decoder; import sun.misc.BASE64Encoder; import javax.crypto.Cipher; import javax.crypto.KeyGene
2020-07-04 22:03:11
原创 徹底理解Cookie、Session、Token、JWT
什麼是認證（Authentication） 通俗地講就是驗證當前用戶的身份，證明“你是你自己”（比如：你每天上下班打卡，都需要通過指紋打卡，當你的指紋和系統裏錄入的指紋相匹配時，就打卡成功） 互聯網中的認證： 用戶名密碼登錄 郵箱發送登
2020-07-04 22:03:00
原创 實時數據集成PG到HDFS--數據一致性校驗
一、背景 目前實時抽數系統不太穩定，數據庫、kafka、網絡等問題，導致實時抽取的數據存在誤差。 二、方案 方案一：監控kafka採集的數量與spark streaming從kafka消費的數量（不能保證源庫和目標
2020-07-04 22:03:00
原创 kafka常用術語、命令及參數
一、常見術語 broker：kafka集羣包括一個或多個服務器，這種服務器叫做broker。broker接受來自生產者的消息，爲消息設置偏移量，並提交消息到磁盤保存。broker爲消費者提供服務，對讀取分區的請求作出相應，返回已經提交到磁
2020-07-04 22:03:00
原创 Mysql數據庫最詳細安裝步驟
一、MySql數據庫默認安裝 檢查系統是否安裝過MySql數據庫 [root@localhost home]# yum list installed mysql* Loaded plugins: fastestmirror, langp
2020-05-16 12:19:38
原创 canal+kafka部署測試全記錄
canal地址：https://github.com/alibaba/canal 這裏只介紹部署，簡介原理參見開源介紹。 一、簡介 canal1.1.1版本以後，默認支持將canal server接收到的binlog數據直
2020-05-16 12:19:38
原创 實時數據集成--數據一致性校驗
一、背景 目前實時抽數系統不太穩定，數據庫、kafka、網絡等問題，導致實時抽取的數據存在誤差。 二、方案 方案一：監控kafka採集的數量與spark streaming從kafka消費的數量（不能保證源庫和目標
2020-05-11 20:54:15
原创 Java JDBC連接各種數據庫(包括mysql、pg、hive)
JDBC全稱Java Database Connectivity，就是Java數據庫連接，也就是說用Java語言操作數據庫。 一、原理 二、步驟 1、註冊驅動 2、獲取連接 3、獲取Statement 4、得到結果集中的數據 三、示例
2020-05-09 17:32:32
原创 String、JSONObject、JSONArray之間互相轉換
首先在maven中添加阿里的fastjson依賴 <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <ve
2020-04-19 21:59:16
原创 Java8 stream map collect foreach
例如有一個集合： List<User> users = getList(); //從數據庫查詢的用戶集合 現在想獲取User的身份證號碼；在後續的邏輯處理中要用； 常用的方法我們大家都知道，用for循環 List<String> idc
2020-04-14 12:23:44
原创 java生成excel
參考： https://blog.csdn.net/expect521/article/details/81122642 https://blog.csdn.net/tanwenfang/article/details/90146204
2020-02-22 15:07:10