原创 flume+kafka+zookeeper 單機實現實時數據的獲取
之前在做大數據的時候，一直不知道數據是怎麼上傳到hdfs的，問了架構師用flume，自己也一直想玩一下flume，無奈沒太多的時間，今天有點時間，就查找資料，搭建了一個單機環境下的日誌監控。所有資料全部來源與網絡，我只是做了一個簡單的整合
2020-02-21 16:47:39
原创 redis.clients.jedis.exceptions.JedisDataException: NOAUTH Authentication required.
在用jedis集羣中,用ShardedJedisPool對主從進行hash算法選取redis服務端,然而我在redis主從都設置了密碼,在配置連接時報如下錯誤 redis.clients.jedis.exceptions.JedisDat
2020-02-21 16:47:39
原创 設計模式之建造者模式
對於建造者模式來說，它解決的問題其實和工廠模式有點類似，但不同的地方是，工廠模式在創建對象的時候，如果固定死創建對象時功能的順序，那就無法應對，對象的功能的順序變化。 比如：我們在建造房子的時候，框架基本就是
2018-08-24 15:33:06
原创 設計模式之策略模式
說起策略模式，簡單的幾句話就是利用java的繼承和多態實現的。就是一個接口，有自己的實現，在提供一個策略類去選擇那個實現去完成任務。 比如：最近在寫rocketmq的時候，對於生產中有幾種類型，第一種簡單發送
2018-08-24 15:33:06
原创 設計模式之觀察者模式
觀察者模式，從字面上看，就是當觸發一件事情的時候，會做出相應的對策。被觀察者處在一個被監視的環境下。我們都知道臥底，就是一種抽象的觀察者模式。然而我們的項目中也大量的用到觀察者模式，比如：消息訂閱，監聽器。首先，觀察者模式，需要有幾個角色
2018-08-24 15:33:06
原创 設計模式之模板模式
在設計模式中最簡單理解的要數模板模式了，就是運用了java的繼承這一特性。抽象類定義一系列的完成某種功能的方法，由子類按照自己的規則去實現。舉個例子，在springmvc中我們經常寫攔截器，其實他就是模板模式。在類開始做什
2018-08-24 15:33:06
1
原创 在用java 對hbase多條件組合查詢過程中遇到的坎坷
最近公司的數據部門提出了要做大數據分析的需求，大數據方確定數據儲存在hbase中，java工程師進行調用展示。我作爲一個java工程師，覺得這很easy，不就是展示一個非關係型數據庫的數據嗎？當時我還不瞭解hbase，覺得
2018-08-24 15:33:06
原创 簡單記錄mongodb同步不同環境集合的數據
db.runCommand({cloneCollection:"庫名稱.集合名稱",from:"mongo的連接ip"})
2018-08-24 15:33:06
3
原创 mybatis源碼解析之三
上次說到執行器的的執行過程，接下來看下數據庫的初始化Sqlsession。首先，入口在SqlSessionFactoryBean這個類裏面，他實現了FactoryBean,InitializingBean,ApplicationListe
2018-08-24 15:33:05
1
原创 設計模式之裝飾器模式
上一篇寫了關於工廠模式的博客，最後拋出了一個小問題，產品需求永遠在變動，所以說用工廠方法就會有一定的侷限性，接下來我們看下裝飾器模式是如何解決這個問題的。 裝飾器模式，聽名稱就是要修飾已經好的對象。比如：對於
2018-08-24 15:33:05
原创 關於線程異常的處理
之前在面試阿里巴巴的時候，其中一個面試題如標題，說實話以前真沒有注意過這個，所以根本不知道，下來就翻看各種資料瞭解到在線程的Thread中有一個內部接口類UncaughtExceptionHandler，可以去處理線程拋出來的異常。例子：
2018-08-24 15:33:05
原创 spring-dada-elasticsearch3.0.0+elasticsearch5.5.0+ik+synonum構建實時的搜索引擎
最近由於人事變動，接到elasticsearch5.5.0有關的項目，項目很簡單，就是做一個近義詞詞庫和數據的檢索，然而在自己搭建的時候出現了諸多的問題，特此記錄一下。而且，關於網上用elasticsearch的大多多是老資料了，有些問題
2018-08-24 15:33:05
原创 mybatis源碼解析之二 mybatis源碼解析之三
上面看了configuration的初始化，接下來我們看下執行器。當我們在注入了，mapper後，調用mapper類的一個方法，執行器是怎麼執行的。首先，對於執行器有幾種類型包括：簡單，批量。默認是簡單執行器。首先，我們對於Mapper的
2018-08-24 15:33:05
原创 mysql之主鍵插入衝突就跟新（mybatis篇）
很多時候我們都會遇到插入數據導致主鍵衝突這種情況，我們就希望能更新這條記錄而不會報錯。在MySQL1.4以後就出現相對應的關鍵字來解決這個問題 on duplicate key update. 當我們在插入數據庫數據的時候，遇到唯一索
2018-08-24 15:33:05
1