原创 HBASE多行轉列冷數據處理

背景及介紹詳見：供應鏈冷熱數據處理實踐 方案主要包含讀寫兩塊，寫是第一步，因爲PG是行數據，而HBASE是列數據，而且在做數據同步的同時，還要考慮怎樣的數據結構可以方便數據讀取，不僅僅如此，因爲一個主單會對應多條明細，而查詢的時

2020-06-20 06:10:57

原创 供應鏈冷熱數據處理實踐

哈囉供應鏈冷熱數據處理實踐背景方案選型實施HBASE數據讀寫生產驗證總結 背景 爲了支持供應鏈幾百個倉庫，單倉日均近百次（倉庫大小不同，數據差別也會比較大，這裏取均值用於評估）的出入庫操作，也就是日均會產生幾十K的單據數據，所以這

2020-04-08 05:43:12

原创 分佈式數據庫中間件、產品——sharding-jdbc、mycat、drds

        一般對於業務記錄類隨時間會不斷增加的數據，當數據量增加到一定量（一般認爲整型值爲主的表達到千萬級，字符串爲主的表達到五百萬）的時候，性能將遇到瓶頸，同時調整表結構也會變得非常困難。爲了避免生產遇到這樣的問題，在做系統設計時

2018-10-10 04:03:21 1

原创 重構

       重構的目的是爲了解決問題，或是爲了解決目前的問題，或是爲了解決未來可能出現的問題。        重構可以分爲業務重構和技術重構，而大部分技術重構都是以更好的支撐業務爲目的的，這裏把這一部分也歸到業務重構的範疇。      

2018-09-03 13:39:57

原创 springboot集成security

接着上一篇( springboot 集成mybatis)繼續搞，接下來集成security 首先還是添加pom依賴 <dependency> <groupId>org.springframework.boot</group

2018-08-22 12:43:54 3

原创 springboot總結

參考之前springboot及主流框架的集成 springboot應用搭建及簡單介紹 springboot 集成freemarker springboot集成mybatis springboot集成security 可以發現，還是比較容

2018-08-22 12:43:54 7

原创 canal在分佈式系統中的應用

背景近期在做一個用戶行爲採集的系統，可選方案基本就是埋點或基於DB監控，考慮到埋點需要各業務系統配合，對原有業務邏輯有一定侵入性，最終選用DB監控爲主，埋點爲輔（由於部分行爲存儲在mongo）的方案。canal是阿里開源的數據同步工具，相

2018-08-22 12:43:53 4

原创 談一談框架的框架——Spring

一直想用一個什麼樣的詞來形容Spring合適，這裏會有很多候選詞，比如粘合劑（Spring可以很好的把其他框架整合起來，這樣感覺粘合劑比較貼切，但同時這會給人一種強依賴的感覺，這與Spring的初衷——解耦是相悖的，所以pass）

2018-08-22 12:43:53

原创 springboot 集成freemarker

接着上一篇（springboot應用搭建及簡單介紹）繼續搞，之前已經搭起了springboot的架子，接下來是集成freemarker，這樣一個最簡單的web項目就有了。 首先需要在pom裏面加入freemarker的依賴 <depen

2018-08-22 12:43:52 3

原创 記一條慢sql引發的血案

    事情經過是這樣的，一天下午，一位同事在後臺查詢一個用戶的業務記錄，結果半天頁面沒有響應，於是一邊抱怨着一邊狂點查詢，還是沒查出來，最後終於放棄了；然後沒一會兒，系統開始不停報警，也開始有用戶反饋說登錄不了，頁面打不開等等；趕快排查

2018-08-22 12:43:52

原创 413 Request Entity Too Large

描述：程序通過瀏覽器上傳大的圖片時報錯，經檢查應用js（file.js）中限制了圖片的大小，調整後依然報錯。然後發現該報錯爲nginx單個文件過大時報錯的，於是修改應用所在機器nginx配置，報錯依舊。最終確定由於使用到域名映射到ip，所

2018-08-22 12:43:52 2

原创 程序員之於管理還是技術

從入行起就開始看到有人問這樣的問題，而最近好像又吵到了新高度，當然從有了這個問題開始就不斷有人給出自己的觀點，對於大多的觀點也只是看看而已，因爲對於剛工作的自己來說這是一個不是問題的問題；首先於管理，剛工作，沒有任何背景，就一普通程序員，

2018-08-22 12:43:51 1

原创 服務器時間同步工具

1.  安裝ntpdate工具# yum -y install ntp ntpdate2.  設置系統時間與網絡時間同步# ntpdate cn.pool.ntp.org3.  將系統時間寫入硬件時間# hwclock --systohc

2018-08-22 12:43:51 2

原创 一月記

差不多是上個月的這個時候，決定寫一些技術博客，開始也做了一些事情，有一些產出，接下來公司搬家，加上自己身體原因，可謂內憂外患，身心俱疲，也就再沒靜下心來了，這應該是最壞的一段時間了，接下來必然好轉，希望自己能堅持自己最初制定的計劃，度過這

2018-08-22 12:43:51

原创 寒冬過方知芳草枯

去年閒來無事，也是想增加房間裏的生活氣息，於是買了三盆盆栽，置於案頭。當時已是深秋，已看不到生長的氣息，除了綠洋洋的，很難判斷它們的生長狀態，不過這樣也好，可以不用去那麼關注它們。一轉眼，已經過去三月有餘，外面的小草已經發芽，青黃青黃的，

2018-08-22 12:43:51 3