原创 HBase創建二級索引

HBase索引主要爲了提高HBase的訪問速度,有效的避免了對錶進行全局掃描,多數查詢只是需要查找表的一部分,通常一個表包含了很多region,一個region包含了很多數據,如果需要用列值作爲查詢條件的話,顯然就需要對錶進行全局掃描,但

原创 Java淺談流之對象流ObjectInputStream和ObjectOutputStream

    我們知道Java中對文件操作有6種流:              1 文件字節流:這是InputStream和OutputStream的子類 eg: FileInputStream  FileOutputStream      

原创 使用MapReduce查找數據庫表的重複數據

在一張很大的數據庫表中,這張表有6個字段,要求查找出具有指定的三個字段相同的記錄,並且這些記錄的總和要大於等於3,如果使用SQL語句的話,就很慢,至少我使用了30多分鐘,而且還沒有寫好SQL語句,現在我使用了MapReducer進行編程,

原创 hadoop在ubuntu14.04中完全分佈式安裝步驟

這篇博客參考了這篇文章http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html,主要是想提醒在ubutnu上安裝hadoop的朋友們,這裏有一些問題需要改進,在參考ht

原创 java super和this的區別

    this關鍵字:            this關鍵字代表的是某個對象,this只可以出現在實例方法中,不可以出現在類方法中,this.varibly代表的是使用本類的成員變量,但是可以省略,因此在給成員變量賦值的時候,可以不用

原创 java super和this的區別

      this關鍵字:         this關鍵字從本質上講是指向某個對象的指針,只能用於在實例方法中,不能出現在類方法中,當在方法中調用某個成員變量時,就相當於調用了this.成員變量。        this的用法:    

原创 java淺談鎖

    當使用synchronized關鍵字時,實際上是獲得了當前對象上的鎖。在Java中,每一個對象都有與之關聯的鎖。這個關鍵字可以用到任意的代碼塊中。例如,將一段代碼包含到synchronized塊中,就可以在這段代碼中提供原子操作,

原创 java拆箱和裝箱

1 什麼是拆箱和裝箱?        裝箱:用基本類型對象的引用類型包裝基本類型,使其具有對象的性質,比喻把int包裝成Integer,        拆箱:拆箱裝箱是相反的操作,就是把類類型轉化爲基本類型,比喻把Integer轉化爲in

原创 Hadoop傳遞參數的方法總結

 寫MapReduce程序通常要傳遞各種各樣的參數,選擇合適的方式來傳遞參數既能提高工作效率,也可以避免bug的產生。根據參數的大小,可以粗略的分爲以下幾種。 最直接的方式就是使用Configuration的各種set方法,對於基本數據類

原创 Hadoop集羣上安裝mahout

mahout安裝與配置:     安裝環境:需要安裝Hadoop集羣,    建議下載安裝mahout0.8,下載版本mahout-distribution-0.8.tar.gz    ,下載鏈接:http://archive.apach

原创 java NIO學習之處理速度比較

這裏像文件寫入500000個數字,並且讀出,使用普通的數據流讀寫,NIO流讀寫和NIO流文件映射到內存讀寫三種方式相互比較: package inputoutputStream; import java.io.DataInputStre

原创 面試java必備知識點

1. java多線程編程,線程安全問題,怎麼解決併發問題; 2 java常見集合類,瞭解集合類的內部實現及其優化問題; 3 jvm內部實現機制,如何進行調優; 4 gc如何進行垃圾回收,有哪些算法,並且怎麼優化; 5 jdbc加載過程,如

原创 Hadoop集羣錯誤

遇到了一直以來沒有解決的問題,今天順利的解決了:        1 集羣啓動一段時間Master就失去了和Slave的連接,顯示Slave宕機了,ssh Slave1過後恢復正常,查看Slave的日誌:顯示:Call to ubuntu

原创 安裝protege和Graphviz

     對於protege有很多版本,低版本的protege會有很多bug,在安裝protege的時候我也遇到了很多問題,安裝了protege5.0的版本,但是沒有找到相關的中文教程,安裝了4.0的,但是建了本體過後不能使用OWLVIZ

原创 Dijkstra算法Java實現

從最短路徑開始,學習Dijstar算法 下面是求最短路徑問題描述: 下面是Dijkstar算法的描述: 下面是使用Dijkstar算法求解右圖中的問題: 下面是圖的鄰接矩陣: 下面是計算過程: 下面是求解最短路徑: 下面