原创 ElasticSearch大批量數據入庫
最近着手處理大批量數據的任務。 現狀是這樣的，一個數據採集程序承載大批量數據的存儲和檢索。後期可能需要對大批量數據進行統計。 數據分佈情況 13個點定時生成採集結果到4個文件（小文件生成周期是5分鐘） 名稱
2020-02-21 17:01:40
原创 初識lucene
lucene的介紹網上有好多，再寫一遍可能有點多餘了。 使用lucene之前，有一系列的疑問 爲什麼lucene就比數據庫快？倒排索引是什麼，他是怎麼做到的lucene的數據結構是什麼樣的，cpu消耗，內存消耗主要因爲什麼lucene的
2020-02-21 17:01:40
原创 centos 6.5 hadoop 2.3 初配置
爲了安裝hadoop廢了好大的勁才把esxi5.5給裝好。 同時裝了centos6.5，由於hadoop裏面有個免密碼登陸所以這裏講的就是免密碼登陸。 看了大家的博客文章發現轉發的一部分，寫ubuntu的一部分，寫centos的又有一部
2020-02-21 17:01:40
原创 iostat 離線安裝
由於lucene需要一定的io讀寫顧安裝iostat來對磁盤io進行監控 iostat 屬於sysstat下的功能 git路徑如下：https://github.com/sysstat/sysstat 第一步，需要下載該文件 http:
2020-02-21 17:01:40
原创 hadoop 2.3 集羣總結
用了近兩個禮拜的摸索終於搭建好了hadoop集羣，測試性能也符合預期。 centos6.4下hadoop2.3集羣總結如下： 關於環境的設置： 1.關閉selinux （反覆折騰了好多次）
2020-02-21 17:01:39
原创 log4j日誌分模塊打印，同時不打印到控制檯上
由於定時刷新程序的啓用，導致catalina.out配置文件中打入大量日誌，致使程序調試困難。 無法正常查看日誌。所以客戶要求將性能流量配置日誌遷移出catalina.out目錄。修改log
2020-02-21 17:01:39
原创 esxi5.5 安裝，虛擬機複製
嘗試在vmware workstation上安裝hadoop，感覺太慢了。 好在家裏的臺式機配置還可以，所以就想在它上面虛擬出幾臺服務器出來。 臺式機配置如下： 虛擬出來三個應該沒問題了吧。 第一步，下載esix5.5（去官網上看是需
2020-02-21 17:01:39
原创 dubbo初體驗
最近需要開發部門中某個大數據量的提取的功能，加到了一個ElasticSearch的羣。在羣裏聽說到一個框架叫dubbo，阿里系開源軟件。聽到羣友談的神乎其神的，什麼什麼功能切分多協議棧，高併發等等等。最最重要的一點，還有一個控
2020-02-21 17:01:39
原创 spring framework 4 源碼閱讀 --- 前期準備
在開始看代碼之前，需要做的第一件事是下載代碼。 在這裏：https://github.com/spring-projects/spring-framework 下載完成了發現使用gradle做的源代碼的構建管理工具的。 值得慶幸的事情，
2018-12-01 00:13:13
原创 flink 事件時間
當流媒體程序在處理時間運行時，所有基於時間的操作（如時間窗口）將使用運行相應操作員的機器的系統時鐘。例如，每小時處理時間窗口將包括在系統時鐘顯示整整一小時的時間和到達特定操作員的所有記錄。處理時間是最簡單的時間概念，不需要流和機器之間的協
2018-08-24 19:28:06
原创 ThreadPoolExecutor原理及使用
大家先從ThreadPoolExecutor的總體流程入手： 針對ThreadPoolExecutor代碼，我們來看下execute方法： public void execute(Runnable command) {
2018-08-24 19:28:05
原创 maven pom.xml加載不同properties配置
1.pom.xml===========================<!-- 不同的打包環境配置: test=開發/測試測試環境, product=生產環境; 命令行方式: mvn clean install -Dmaven.tes
2018-08-24 19:28:05
原创 MongoDB中ObjectId的誤區，以及引起的一系列問題
近期對兩個應用進行改造，在上線過程中出現一系列問題（其中一部分是由於ObjectId誤區導致的）先來了解下ObjectId：TimeStamp 前 4位是一個unix的時間戳，是一個int類別，我們將上面的例子中的objectid的前4位
2018-08-24 19:28:03
1
原创 基於mongoDB的capped collection的性能優化
MonitorLogging改造(消息接入)改造前架構：可以看出原來的流程中，大量業務分析，業務接入耦合在web服務層。大量操作，導致線程線性的掛起線程。改造後：將業務通訊抽象成爲MonitorQueueManager，並將業務主題抽象放
2018-08-24 19:28:03
3
原创 hadoop 1.2.1 安裝步驟 僞分佈式
最近在系統的學習hadoop 課程第一步是安裝hadoop1.x，具體安裝步驟如下： 一、系統安裝 本文使用centos6.5安裝，具體安裝步驟省略 二、jdk安裝 下載jdk1.7.0_51解壓，在環境中 設置環境變量： vi /et
2018-08-24 19:28:03