原创 10W級數據更新操作__生產消費者模式
背景需求 最近有這麼一個需求：由於本地系統信息與另一個系統數據可能不一致，兩個系統有各自的獨立數據庫和業務，在通信過程中網絡等原因，導致兩者之間的關鍵信息有差異，因此本地數據庫中可能有10W條記錄需要更新，本地數據庫的信息需要逐條與
2018-11-04 12:11:10
原创 SpringMVC自定義綁定參數、及Controller增強處理
在基於SpringMVC的WEB服務開發過程中，經常會遇到如入參解密、返參加密這樣的過程，這個過程可能需要很多代碼可能只需要一行調用，但是每個Controller都需要調用這樣一個方法就可能會感覺繁瑣，而且不利於主要業務代碼閱讀，有
2018-11-04 12:11:10
原创 Netty-SocketIO實現服務器消息推送
傳統的Http是基於請求-響應式的協議，需要客戶端主動向用戶發送請求，才能得到服務器的響應，而在請求同步響應結束後，Http也會關閉，此時服務器便不能再向客戶端主動發送消息了。即若客戶端想得到服務端的消息，就必須首先發送請求才能得到
2018-11-04 12:11:10
5
原创 Linux上silk微信語音轉換成mp3格式
最近項目中有個需求，要求把silk微信小程序語音轉換成mp3格式，現在Linux中已經實現了，windows的實現方式也很簡單，可在網上搜索其它方式，文章最後也給出了幾個鏈接可以參考。以下是對筆者在實踐過程總結，親測可用。 工具、
2018-11-04 12:11:10
原创 基於docker搭建jenkins+maven代碼構建部署平臺
由於項目開發，經常需要在本地搭一些環境進行開發或測試，大家知道搭環境、裝軟件、裝中間件是件非常麻煩的事情，有些軟件的安裝可能需要依賴其它環境的安裝，如安裝rabbitmq首先需要Erlang語言環境，一整套安裝下來不僅浪費時間而且還
2018-11-04 12:11:10
原创 HADOOP(2)__Mapreduce分區、排序、分組
Hadoop生態中的Mapreduce在map階段可以將大數據或大文件進行分區，然後到Reduce階段可並行處理，分區數量一般與reduce任務數量一致；自定義實現Hadoop的WritableComparable接口（序列化並排列
2018-11-04 12:11:10
原创 機器學習_scikit-learn中的SVM
支持向量機（SVM）是一種可用於分類和迴歸的有效監督學習方法，是一種基於最大間隔的分類器。對於 SVM 的理解需要很多數學理論知識，尤其是對於拉格朗日對偶求解的理解。由於水平有限，文章並未用python實現SVM算法，而是用Scik
2018-11-04 12:11:10
原创 zookeeper學習__分佈式共享鎖簡單Demo
zookeeper是一個分佈式協調服務，爲用戶的分佈式應用提供協調服務。使用範圍有：主從協調、服務器節點動態上下線、統一配置管理、分佈式共享鎖、統一名稱服務…… 文章利用zookeeper實現簡單的分佈式鎖 zookeep
2018-11-04 12:11:10
原创 ElasticSearch使用入門及拼音搜索介紹
最近有個項目需要用到拼音搜索並高亮顯示所匹配的中文，其實拼音搜索可以通過將中文轉化爲拼音存儲在庫表如mysql中，然後通過sql like語句查詢搜索到對應的中文，在一些併發要求並不高、中文已知的情況下是完全可以做到拼音搜索。但是由
2018-11-04 12:11:10
1
原创 機器學習_樸素貝葉斯算法識別手寫數字
樸素貝葉斯算法是基於條件概率的一種分類算法，通過概率大小來進行分類，經常用於分類文檔。本文用python實現樸素貝葉斯算法，並用kaggle識別手寫數字的數據集來訓練，得到81%的準確率。雖然準確率可能比不上其它如SVM、神經網絡等
2018-11-04 12:11:10
原创 SpringTask執行定時任務中調用方法中斷問題
背景 使用SpringQuartz輕量級定時任務時，出現任務中的方法調用鏈未執行完，也未拋出異常，然後到下一次時間就繼續執行下一次的任務。剛開始時百度一下，以爲是線程阻塞、併發設置等（默認是併發執行）。然後順着這個思路一直往下搜索資
2018-11-04 12:11:10
2
原创 Sonarqube代碼審查平臺安裝_JDK1.7+Maven3.3.9
基於JDK1.7代碼審查平臺sonarqube安裝 sonarqube已經更新到7.0版本了，但是從5.6版本以後就只支持JDK1.8了，網上大部分資源也都是基於JDK1.8的，在這方面走了不少坑，尤其是在後面用Maven-scann
2018-11-04 12:11:10
原创 基於BeautifulSoup簡單爬蟲
Python語法簡單、框架多、代碼少，用於爬蟲是一個不錯的選擇。爬蟲是模擬Http請求獲取靜態網頁，並解析網頁的html得到相應的信息的一種方法。文章針對糗事百科的段子做爬蟲練習，並用Pandas作簡單統計寫入到csv文件 請求網
2018-11-04 12:11:09
原创 HADOOP(1)__Mapreduce_WordCount統計單詞數
最近開始接觸大數據方面的學習，準備做一個系列筆記來介紹筆者的學習過程。文章簡單介紹Hadoop的集羣搭建、Mapreduce編程的主要流程及如何提交到Linux服務器中的yarn運行MapReduce程序。針對一些常見問題也作了簡單
2018-11-04 12:11:08
原创 算法練習__二叉查找樹
代碼只是一時的思考，算法和架構是一直需要思考的。樹結構是遞歸的最好練習方式，文章找一些基本二叉查找樹的題目練習一下。主要涉及到查找最小元素、統計元素個數等問題 遍歷找最小距離 添加元素、查找最小元素 順序打印元素 求二叉樹深度，
2018-11-04 12:11:08