原创 hbase故障分析之-regionserver突然宕機啓動後也是宕機
近日發現測試環境中的RegionServer總是突然宕機，重新啓動節點依然無效，無耐看了半天日誌發現如下信息：2015-02-13 05:40:04,325 WARN [regionserver60020
2018-12-07 16:12:06
原创 記一次系統HBase過濾器升級的異常
在我們的系統中，Hbase的RowKey是用二進制寫入的，所以基於RowKey的正則表達式沒有用處，因此自定義了一個比較器，用於匹配指定位置行健的內容。開發、測試階段都沒問題，上生產環境，運行後總是提示類找不到的錯誤。仔細確認了打的ja
2018-12-07 16:12:06
原创 創建HBASE數據庫時候不得不注意的幾處設置
[b]系統相關屬性設置：[/b] HTableDescriptor tableDesc = new HTableDescriptor("test"); //日誌flush的時候是同步寫，還是異步寫 tabl
2018-12-07 16:12:06
原创 Hbase Client API 介紹
Hbase API 常用類應用網上Hbase的介紹有很多，案例也不少。自己寫了個Demo，進行一些簡單的總結。HBase 常用類介紹。JAVA API 和 HBase數據庫模型之間的關係JAVA 類Hbas
2018-12-07 16:12:06
原创 HBase工程師線上工作經驗總結----HBase常見問題及分析
閱讀本文可以帶着下面問題：1.HBase遇到問題，可以從幾方面解決問題？2.HBase個別請求爲什麼很慢？你認爲是什麼原因？3.客戶端讀寫請求爲什麼大量出錯？該從哪方面來分析？4.大量服務端exceptio
2018-12-07 16:12:06
原创 Hbase原理、基本概念、基本架構
概述HBase是一個構建在HDFS上的分佈式列存儲系統；HBase是基於Google BigTable模型開發的，典型的key/value系統；HBase是Apache Hadoop生態系統中的重要一員，主
2018-12-07 16:12:06
原创 hadoop優化之MapReduce的Uber方式運行
hadoop2.x版本中新增了Uber方式運行MR。 什麼是Uber呢？ hadoop中對於Uber做了如下的定義： 1、mapreduce.job.ubertask.enable=true 首先你要啓用uber模式，默認是false 2
2018-09-03 02:47:12
原创 關於HBase報錯org.apache.hadoop.hbase.NotServingRegionException的異常分析
近期和一個朋友交流，他們的業務系統使用HBase做爲底層的數據存儲。高峯期的時候偶爾出現org.apache.hadoop.hbase.NotServingRegionException，嚴重影響了業務系統的正常運行。分析日誌後得到這樣的
2018-09-03 02:47:12
原创 hadoop-源碼原理剖析--------(一)手把手教你如何進行hadoop開發的環境搭建,拒絕深坑!~
hadoop現在火的一發不可收拾,越來越多的人想了解hadoop,但是hadoop跟我們以前的項目不大一樣,很多人不知道從何入手,現在,教大家如何進行hadoop開發的環境搭建,然後進行debug調試源碼.以便於未來的學習和工作,(以下步
2018-09-03 02:47:12
原创 大型網站核心的架構（6-1）基本要素
1.性能 優化網站性能的手段有很多，從用戶瀏覽器到數據庫，影響用戶請求的所有環節都可以進行性能優化。 a.瀏覽器端 瀏覽器緩存 （對於一個網站而言，CSS,j
2018-09-03 02:47:11
原创 hbase for hadoop2.X 使用 protocolbuffer 自定義filter
一.所需技能 1.搭建環境請參考http://blog.csdn.net/hadoop_83425744/article/details/49254741裏面環境搭建 2.必須掌握protocol buffer
2018-09-03 02:47:11
原创 Java 關於讀取配置文件
前序：項目包含哪些路徑？ 1. 開發項目根路徑，通常會在IDE裏面新建一個工程，在磁盤上有對應的文件夾。 2. 編譯根路徑，將開發好的項目編譯後，會產生一個新的文件夾。或bin;output;等文件夾。 3. CLASSPATH路徑
2018-09-03 02:47:11
原创 正確理解hadoop 2.x 的環形緩衝區: (一) MR環形緩衝區的結構
一.什麼是hadoop 環形緩衝區: Shuffle過程是MapReduce的核心，也被稱爲奇蹟發生的地方。要想理解MapReduce， Shuffle是必須要了解的。從這周開始,開始學習shuffle的整個過程,今天帶來
2018-09-03 02:47:11
原创 大型網站核心的架構（6-2）高性能
提高網站的性能，主要可以從web 前端，應用服務器，和數據存儲三個方向來實施有效的方式，來控制網站的整體性能。 1.性能測試方法 性能測試--增加網站併發數，查看系統是否可以達到預期的處理能力 負載測試--繼續增加
2018-09-03 02:47:11
原创 如何成爲一名合格的程序員
今天是我第一次寫博客，想寫些對大家都有幫助的文章，思前想後，覺得讓大家理解怎樣的程序員是受歡迎的非常重要。作爲從業6年的程序員，談些自己對這份工作的理解，希望能幫助到大家。僅僅是經驗之談，不喜勿噴。 首先程序員是一個創新型職業，從計算機語
2018-09-03 02:47:01