hadoop和hbase整合

2 測試環境

 Eclipse-version : Juno Service Release 1,hadoop-version  hadoop-1.0.4,hbase -version hbase-0.92.0,  jdk-version: 1.6.0_31

3 ssh-server安裝

在ubuntu 12.04的版本中已經安裝了ssh-client,這裏還需要進行ssh-server的安裝。安裝如下圖:

          

圖-ssh-server安裝

 

使用主節點上的ssh-keygen生成rsa密鑰對,務必避免輸入密碼,否則每次節點啓動的時候都會提示輸入密碼。生成方式如下(一路回車即可):

         

圖-keygen生成

對生成的密鑰進行授權:

圖-授權

:在生成密鑰對時需要注意用戶,如果是普通用戶則在生成keygen的時候不需要加sudo  ex:ssh-keygen -t rsa -P “”。如果爲管理員賬戶則需要加入sudo來執行 ex: sudo  ssh-keygen -t rsa -P “”

 

hadoop相關配置(前提條件是要安裝ssh-server,jdk)

1. 將下載的hadoop壓縮文件進行解壓,我解壓的目錄是在 “下載” 目錄。

2. 對解壓的hadoop進行配置,打開conf/目錄。編輯hadoop-env.sh文件

  對裏面的java_home進行設置。

              

圖- java_home設置

3.對core_site.xml文件進行配置,以下分別對主機節點的地址和存儲文件的路徑進行配置,文件路徑默認情況是存在/tmp/目錄下的。 

          

圖- core-site.xml配置 

 

4. 對mapred-site.xml進行配置,以下是對job的主機端口的配置

 

圖 -  mapred-site.xml設置

5.在啓動主機之前學要對hdfs系統進行格式化。Bin/hadoop namenode -format 格式化之後會在你配置文件給定的目錄中生成一個hdfs的工作目錄。

             

圖-hdfs工作目錄生成

6.啓動hdfs。這裏的datanode  jobtracker都在同一主機上運行。啓動時需要注意不是直接運行bin/start-all.sh文件。而是按以下順序來運行。引文在單個注意上運行時datanode  namenode  jobtracker  tasktracker 等都是在同一主機上運行。但是在運行時候有一定的依賴關係。所以需要按順序啓動。執行情況如下圖:

         

圖-啓動流程 查看啓動情況

到現在爲止,hadoop已經成功啓動,所有節點都並運行在本機上。如果需要查看namenode的狀況可以訪問 www.localhost:50070。查看map/reduce的狀況訪問 www.localhost:50030。信息如下:

           

圖-namenode信息

          

圖-map/reduce信息

hbase安裝

1.版本在上面已經提到,這裏直接將下載的壓縮文件解壓到自定義目錄。我是解壓的“下載”目錄

2.對解壓的文件進行配置。打開con/目錄。編輯hbase-env.sh,進行java_home的配置。

           

圖-hbase java_home配置

3.編輯hbase-site.xml文件。定義hbase和zookeeper(可靠協調系統,提供的功能包括:配置維護、名字服務、分佈式同步、組服務等)的文件存儲目錄。以及zookeeper的主機節點

                 

圖-hbase  hbase-site.xml

4.啓動hbase,並進入建表模式。

          

圖-base啓動

在eclipse下進行簡單的測試

1.新建立java工程

2.將hbase解壓文件下的conf/目錄中的hbase-site.xml拷貝到eclipse的src根目錄下。

         

- eclipse配置文件

3.進入eclipse點擊添加額外的jar包選項。將hbase根目錄下的兩個jar包和lib/文件夾下的jar包全部引入。

         

圖-添加jar包到工程中

4.編寫測試類進行測試。測試結果如下圖:

          

圖-運行結果

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章