文章來源:http://blog.csdn.net/hguisu/article/details/7244413
hbase安裝配置(整合到hadoop) Huangguisu1.快速單機安裝:
在單機安裝Hbase的方法。會引導你通過shell創建一個表,插入一行,然後刪除它,最後停止Hbase。只要10分鐘就可以完成以下的操作。
1.1下載解壓最新版本
選擇一個 Apache 下載鏡像:http://www.apache.org/dyn/closer.cgi/hbase/,下載 HBase Releases. 點擊 stable目錄,然後下載後綴爲 .tar.gz 的文件; 例如 hbase-0.90.4.tar.gz.
$ cd hbase-0.90.4
現在你已經可以啓動Hbase了。但是你可能需要先編輯 conf/hbase-site.xml 去配置hbase.rootdir,來選擇Hbase將數據寫到哪個目錄 .
- <?xml version="1.0"?>
- <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
- <configuration>
- <property>
- <name>hbase.rootdir</name>
- <value>file:///DIRECTORY/hbase</value>
- </property>
- </configuration>
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hbase.rootdir</name>
<value>file:///DIRECTORY/hbase</value>
</property>
</configuration>
將 DIRECTORY 替換成你期望寫文件的目錄. 默認 hbase.rootdir 是指向 /tmp/hbase-${user.name} ,也就說你會在重啓後丟失數據(重啓的時候操作系統會清理/tmp目錄)
1.2. 啓動 HBase
現在啓動Hbase:
$ ./bin/start-hbase.sh
starting Master, logging to logs/hbase-user-master-example.org.out
現在你運行的是單機模式的Hbaes。所以的服務都運行在一個JVM上,包括Hbase和Zookeeper。Hbase的日誌放在logs
目錄,當你啓動出問題的時候,可以檢查這個日誌。
1.3. Hbase Shell 練習
用shell連接你的Hbase
$ ./bin/hbase shell
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version: 0.90.0, r1001068, Fri Sep 24 13:55:42 PDT 2010
hbase(main):001:0>
輸入 help 然後 <RETURN> 可以看到一列shell命令。這裏的幫助很詳細,要注意的是表名,行和列需要加引號。
創建一個名爲 test
的表,這個表只有一個column family 爲 cf
。可以列出所有的表來檢查創建情況,然後插入些值。
hbase(main):003:0> create 'test', 'cf'
0 row(s) in 1.2200 seconds
hbase(main):003:0> list 'table'
test
1 row(s) in 0.0550 seconds
hbase(main):004:0> put 'test', 'row1', 'cf:a', 'value1'
0 row(s) in 0.0560 seconds
hbase(main):005:0> put 'test', 'row2', 'cf:b', 'value2'
0 row(s) in 0.0370 seconds
hbase(main):006:0> put 'test', 'row3', 'cf:c', 'value3'
0 row(s) in 0.0450 seconds
以上我們分別插入了3行。第一個行key爲row1
, 列爲 cf:a
, 值是 value1
。Hbase中的列是由 column family前綴和列的名字組成的,以冒號間隔。例如這一行的列名就是a
.
檢查插入情況.
Scan這個表,操作如下
hbase(main):007:0> scan 'test'
ROW COLUMN+CELL
row1 column=cf:a, timestamp=1288380727188, value=value1
row2 column=cf:b, timestamp=1288380738440, value=value2
row3 column=cf:c, timestamp=1288380747365, value=value3
3 row(s) in 0.0590 seconds
Get一行,操作如下
hbase(main):008:0> get 'test', 'row1'
COLUMN CELL
cf:a timestamp=1288380727188, value=value1
1 row(s) in 0.0400 seconds
disable 再 drop 這張表,可以清除你剛剛的操作
hbase(main):012:0> disable 'test'
0 row(s) in 1.0930 seconds
hbase(main):013:0> drop 'test'
0 row(s) in 0.0770 seconds
關閉shell
hbase(main):014:0> exit
1.4. 停止 HBase
運行停止腳本來停止HBase.
$ ./bin/stop-hbase.sh
stopping hbase...............
2.僞分佈式安裝
修改hbase-0.90.4下的conf目錄下的配置文件hbase-env.sh和hbase-site.xml
首先,修改hbase-env.sh中的如下屬性:
export JAVA_HOME=/home/zhangxin/jdk1.6
export HBASE_CLASSPATH=/home/zhangxin/hadoop-0.20.2/conf
export HBASE_MANAGES_ZK=true
然後,修改hbase-site.xml文件
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>//此屬性要根據自己的hadoop的配置信息進行相應的修改
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
替換Hbase中的jar包
需 要用{HADOOP_HOME}下的hadoop-0.20.2-core.jar替換掉{HBASE_HOME}/lib目錄下的hadoop-core-0.20-append-r1056497.jar。如果不替換jar文件Hbase啓動時會因爲hadoop和Hbase的客戶端協議不一致而導致HMaster啓動異常。報錯如下:
localhost: Exception in thread "main"org.apache.hadoop.ipc.RPC$VersionMismatch: Protocolorg.apache.hadoop.hdfs.protocol.ClientProtocol version mismatch.(client = 42, server = 41)
所以如果遇到以上錯誤,就通過替換jar包解決。
完成以上操作,就可以正常啓動Hbase了,啓動順序:先啓動Hadoop——>再啓動Hbase,關閉順序:先關閉Hbase——>再關閉Hadoop。
首先需要將hbase下的bin目錄添加到系統的path中,修改/etc/profile,添加如下的內容:
export PATH=$PATH:/home/zhangxin/hbase-0.90.4/bin
首先啓動hadoop
$ start-all.sh
$jps //可以看到運行的進程
2564 SecondaryNameNode
2391 DataNode
2808 TaskTracker
2645 JobTracker
4581 Jps
2198 NameNode
$start-hbase.sh //啓動hbase
$ jps
2564 SecondaryNameNode
2391 DataNode
4767 HQuorumPeer
2808 TaskTracker
2645 JobTracker
5118 Jps
4998 HRegionServer
4821 HMaster
2198 NameNode
//可以看到,HBase的相關進程已經啓動了
$ hbaseshell //進入shell模式
zhangxin@ubuntu:~$ hbase shell
HBase Shell; enter 'help<RETURN>' forlist of supported commands.
Type "exit<RETURN>" to leave theHBase Shell
Version 0.90.4, r1150278, Sun Jul 24 15:53:29 PDT 2011
$stop-all.sh //停止hbase
如果在操作Hbase的過程中發生錯誤,可以通過hbase安裝主目錄下的logs子目錄查看錯誤原因。
2 Hbase集羣安裝前注意
1) Java:(hadoop已經安裝了)
2) Hadoop 0.20.x 已經正確安裝,並且可以啓動 HDFS 系統, 可參考的Hadoop安裝文檔:Hadoop集羣配置(最全面總結)http://blog.csdn.net/hguisu/article/details/7237395
3) ssh 必須安裝ssh , sshd 也必須運行,這樣Hadoop的腳本纔可以遠程操控其他的Hadoop和Hbase進程。ssh之間必須都打通,不用密碼都可以登錄,詳細方法可以 Google一下 ("ssh passwordless login").
4) NTP:集羣的時鐘要保證基本的一致。稍有不一致是可以容忍的,但是很大的不一致會 造成奇怪的行爲。 運行 NTP 或者其他什麼東西來同步你的時間.
如果你查詢的時候或者是遇到奇怪的故障,可以檢查一下系統時間是否正確!
設置集羣各個節點時鐘:date -s “2012-02-13 14:00:00”
Base是數據庫,會在同一時間使用很多的文件句柄。大多數linux系統使用的默認值1024是不能滿足的,會導致FAQ: Why do I see "java.io.IOException...(Too manyopen files)" in my logs?異常。還可能會發生這樣的異常
2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient: ExceptionincreateBlockOutputStream java.io.EOFException
2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient:Abandoning block blk_-6935524980745310745_1391901
所以你需要修改你的最大文件句柄限制。可以設置到10k. 你還需要修改 hbase 用戶的 nproc,如果過低會造成 OutOfMemoryError異常。 [2] [3].
需要澄清的,這兩個設置是針對操作系統的,不是Hbase本身的。有一個常見的錯誤是Hbase運行的用戶,和設置最大值的用戶不是一個用戶。在Hbase啓動的時候,第一行日誌會現在ulimit信息,所以你最好檢查一下。
設置ulimit:
如果你使用的是Ubuntu,你可以這樣設置:
在文件 /etc/security/limits.conf 添加一行,如:
hadoop - nofile 32768
可以把 hadoop 替換成你運行Hbase和Hadoop的用戶。如果你用兩個用戶,你就需要配兩個。還有配nproc hard 和 softlimits. 如:
hadoop soft/hard nproc 32000
在 /etc/pam.d/common-session 加上這一行:
session required pam_limits.so
否則在 /etc/security/limits.conf上的配置不會生效.
還有註銷再登錄,這些配置才能生效!
7 )修改Hadoop HDFS Datanode同時處理文件的上限:dfs.datanode.max.xcievers
一個 Hadoop HDFS Datanode 有一個同時處理文件的上限. 這個參數叫 xcievers (Hadoop的作者把這個單詞拼錯了). 在你加載之前,先確認下你有沒有配置這個文件conf/hdfs-site.xml裏面的xceivers參數,至少要有4096:
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
對於HDFS修改配置要記得重啓.
如果沒有這一項配置,你可能會遇到奇怪的失敗。你會在Datanode的日誌中看到xcievers exceeded,但是運行起來會報 missing blocks錯誤。例如: 02/12/1220:10:31 INFO hdfs.DFSClient: Could not obtain blockblk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No livenodes contain current block. Will get new block locations from namenode andretry...
8)繼承hadoop安裝的說明:
每個機子/etc/hosts
10.64.56.74 node2 (master)
10.64.56.76 node1 (slave)
10.64.56.77 node3 (slave)
9) 繼續使用hadoop用戶安裝
Chown –R hadoop /usr/local/hbase
3 分佈式模式配置
3.1配置conf/hbase-env.sh
# exportJAVA_HOME=/usr/java/jdk1.6.0/
exportJAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.26
# Tell HBase whether it should manage it'sown instance of Zookeeper or not.
export HBASE_MANAGES_ZK=true
不管是什麼模式,你都需要編輯 conf/hbase-env.sh
來告知Hbase java的安裝路徑.在這個文件裏你還可以設置Hbase的運行環境,諸如 heapsize和其他 JVM有關的選項, 還有Log文件地址,等等. 設置 JAVA_HOME
指向 java安裝的路徑.
一個分佈式運行的Hbase依賴一個zookeeper集羣。所有的節點和客戶端都必須能夠訪問zookeeper。默認的情況下Hbase會管理一個zookeep集羣。這個集羣會隨着Hbase的啓動而啓動。當然,你也可以自己管理一個zookeeper集羣,但需要配置Hbase。你需要修改conf/hbase-env.sh
裏面的HBASE_MANAGES_ZK
來切換。這個值默認是true的,作用是讓Hbase啓動的時候同時也啓動zookeeper.
讓Hbase使用一個現有的不被Hbase託管的Zookeep集羣,需要設置 conf/hbase-env.sh
文件中的HBASE_MANAGES_ZK
屬性爲 false
# Tell HBase whether it should manage it's own instanceof Zookeeper or not.
exportHBASE_MANAGES_ZK=false
3.2 配置conf/hbase-site.xml
- <configuration>
- <property>
- <name>hbase.rootdir</name>
- <value>hdfs://node1:49002/hbase</value>
- <description>The directory shared byRegionServers.
- </description>
- </property>
- <property>
- <name>hbase.cluster.distributed</name>
- <value>true</value>
- <description>The mode the clusterwill be in. Possible values are
- false: standalone and pseudo-distributedsetups with managed Zookeeper
- true: fully-distributed with unmanagedZookeeper Quorum (see hbase-env.sh)
- </description>
- </property>
- <property>
- <name>hbase.zookeeper.property.clientPort</name>
- <value>2222</value>
- <description>Property fromZooKeeper's config zoo.cfg.
- The port at which the clients willconnect.
- </description>
- </property>
- <property>
- <name>hbase.zookeeper.quorum</name>
- <value>node1,node2,node3</value>
- <description>Comma separated listof servers in the ZooKeeper Quorum.
- For example,"host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".
- By default this is set to localhost forlocal and pseudo-distributed modes
- of operation. For a fully-distributedsetup, this should be set to a full
- list of ZooKeeper quorum servers. IfHBASE_MANAGES_ZK is set in hbase-env.sh
- this is the list of servers which we willstart/stop ZooKeeper on.
- </description>
- </property>
- <property>
- <name>hbase.zookeeper.property.dataDir</name>
- <value>/home/hadoop/zookeeper</value>
- <description>Property fromZooKeeper's config zoo.cfg.
- The directory where the snapshot isstored.
- </description>
- </property>
- </configuration>
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://node1:49002/hbase</value>
<description>The directory shared byRegionServers.
</description>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
<description>The mode the clusterwill be in. Possible values are
false: standalone and pseudo-distributedsetups with managed Zookeeper
true: fully-distributed with unmanagedZookeeper Quorum (see hbase-env.sh)
</description>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2222</value>
<description>Property fromZooKeeper's config zoo.cfg.
The port at which the clients willconnect.
</description>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>node1,node2,node3</value>
<description>Comma separated listof servers in the ZooKeeper Quorum.
For example,"host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".
By default this is set to localhost forlocal and pseudo-distributed modes
of operation. For a fully-distributedsetup, this should be set to a full
list of ZooKeeper quorum servers. IfHBASE_MANAGES_ZK is set in hbase-env.sh
this is the list of servers which we willstart/stop ZooKeeper on.
</description>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hadoop/zookeeper</value>
<description>Property fromZooKeeper's config zoo.cfg.
The directory where the snapshot isstored.
</description>
</property>
</configuration>
要想運行完全分佈式模式,加一個屬性 hbase.cluster.distributed
設置爲 true
然後把 hbase.rootdir
設置爲HDFS的NameNode的位置。 例如,你的namenode運行在node1,端口是49002 你期望的目錄是 /hbase
,使用如下的配置:hdfs://node1:49002/hbase
hbase.rootdir:這個目錄是region server的共享目錄,用來持久化Hbase。URL需要是'完全正確'的,還要包含文件系統的scheme。例如,要表示hdfs中的'/hbase'目錄,namenode 運行在node1的9090端口。則需要設置爲hdfs://node1:49002/hbase。默認情況下Hbase是寫到/tmp的。不改這個配置,數據會在重啓的時候丟失。默認: file:///tmp/hbase-${user.name}/hbase
hbase.cluster.distributed :Hbase的運行模式。false是單機模式,true是分佈式模式。若爲false,Hbase和Zookeeper會運行在同一個JVM裏面。
默認: false
在hbase-site.xml配置zookeeper:
當Hbase管理zookeeper的時候,你可以通過修改zoo.cfg來配置zookeeper,
一個更加簡單的方法是在 conf/hbase-site.xml裏面修改zookeeper的配置。Zookeeer的配置是作爲property寫在 hbase-site.xml裏面的。
對於zookeepr的配置,你至少要在 hbase-site.xml中列出zookeepr的ensemble servers,具體的字段是 hbase.zookeeper.quorum. 該這個字段的默認值是 localhost,這個值對於分佈式應用顯然是不可以的. (遠程連接無法使用)。
hbase.zookeeper.property.clientPort:ZooKeeper的zoo.conf中的配置。 客戶端連接的端口。
hbase.zookeeper.quorum:Zookeeper集羣的地址列表,用逗號分割。例如:"host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".默認是localhost,是給僞分佈式用的。要修改才能在完全分佈式的情況下使用。如果在hbase-env.sh設置了HBASE_MANAGES_ZK,這些ZooKeeper節點就會和Hbase一起啓動。
默認: localhost
運行一個zookeeper也是可以的,但是在生產環境中,你最好部署3,5,7個節點。部署的越多,可靠性就越高,當然只能部署奇數個,偶數個是不可以的。你需要給每個zookeeper 1G左右的內存,如果可能的話,最好有獨立的磁盤。 (獨立磁盤可以確保zookeeper是高性能的。).如果你的集羣負載很重,不要把Zookeeper和RegionServer運行在同一臺機器上面。就像DataNodes 和 TaskTrackers一樣
hbase.zookeeper.property.dataDir:ZooKeeper的zoo.conf中的配置。 快照的存儲位置
把ZooKeeper保存數據的目錄地址改掉。默認值是 /tmp ,這裏在重啓的時候會被操作系統刪掉,可以把它修改到 /home/hadoop/zookeeper (這個路徑hadoop用戶擁有操作權限)
對於獨立的Zookeeper,要指明Zookeeper的host和端口。可以在 hbase-site.xml中設置, 也可以在Hbase的CLASSPATH下面加一個zoo.cfg配置文件。 HBase 會優先加載 zoo.cfg 裏面的配置,把hbase-site.xml裏面的覆蓋掉.
參見 http://www.yankay.com/wp-content/hbase/book.html#hbase_default_configurations可以查找hbase.zookeeper.property 前綴,找到關於zookeeper的配置。
3.3 配置conf/regionservers
Node1
Node2
完全分佈式模式的還需要修改conf/regionservers
. 在這裏列出了你希望運行的全部 HRegionServer,一行寫一個host (就像Hadoop裏面的 slaves
一樣). 列在這裏的server會隨着集羣的啓動而啓動,集羣的停止而停止.
4 運行和確認你的安裝
4.1當Hbase託管ZooKeeper的時候
當Hbase託管ZooKeeper的時候Zookeeper集羣的啓動是Hbase啓動腳本的一部分
首先確認你的HDFS是運行着的。你可以運行HADOOP_HOME
中的 bin/start-hdfs.sh
來啓動HDFS.你可以通過put命令來測試放一個文件,然後有get命令來讀這個文件。通常情況下Hbase是不會運行mapreduce的。所以比不需要檢查這些。
用如下命令啓動Hbase:
bin/start-hbase.sh
這個腳本在HBASE_HOME
目錄裏面。
你現在已經啓動Hbase了。Hbase把log記在 logs
子目錄裏面. 當Hbase啓動出問題的時候,可以看看Log.
Hbase也有一個界面,上面會列出重要的屬性。默認是在Master的60010端口上H (HBase RegionServers 會默認綁定 60020端口,在端口60030上有一個展示信息的界面 ).如果Master運行在 node1
,端口是默認的話,你可以用瀏覽器在 http://node:60010
看到主界面. .
一旦Hbase啓動,可以看到如何建表,插入數據,scan你的表,還有disable這個表,最後把它刪掉。
可以在Hbase Shell停止Hbase
$./bin/stop-hbase.sh
stoppinghbase...............
停止操作需要一些時間,你的集羣越大,停的時間可能會越長。如果你正在運行一個分佈式的操作,要確認在Hbase徹底停止之前,Hadoop不能停.
4.2獨立的zookeeper啓動,
除了啓動habse,
執行:bin/start-hbase.sh啓動habse
你需要自己去運行zookeeper:
${HBASE_HOME}/bin/hbase-daemons.sh {start,stop} zookeeper
你可以用這條命令啓動ZooKeeper而不啓動Hbase. HBASE_MANAGES_ZK 的值是 false, 如果你想在Hbase重啓的時候不重啓ZooKeeper,你可以這樣。
5.測試:
可以使用jps查看進程:在master上:
在node2,node3(slave節點)上
通過瀏覽器查看60010端口:
6 在安裝中出現的問題:
1 )
用./start-hbase.sh啓動HBase後,執行hbase shell
# bin/hbase shell
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Version: 0.20.6, rUnknown, Thu Oct 28 19:02:04 CST 2010
接着創建表時候出現如下情況:hbase(main):001:0> create 'test',''c
NativeException: org.apache.hadoop.hbase.MasterNotRunningException: null
jps下,發現主節點上HMaster沒有啓動,查理HBase log(logs/hbase-hadoop-master-ubuntu.log)裏有下面異常:
FATAL org.apache.hadoop.hbase.master.HMaster: Unhandled exception. Starting shutdown.
java.io.IOException: Call to node1/10.64.56.76:49002 failed on local exception: java.io.EOFException
從hadoop_home/下面cp一個hadoop/hadoop-core-0.20.203.0.jar到hbase_home/lib下。
因爲Hbase建立在Hadoop之上,所以他用到了hadoop.jar,這個Jar在 lib 裏面。這個jar是hbase自己打了branch-0.20-append 補丁的hadoop.jar. Hadoop使用的hadoop.jar和Hbase使用的 必須 一致。所以你需要將 Hbaselib 目錄下的hadoop.jar替換成Hadoop裏面的那個,防止版本衝突。比方說CDH的版本沒有HDFS-724而branch-0.20-append裏面有,這個HDFS-724補丁修改了RPC協議。如果不替換,就會有版本衝突,繼而造成嚴重的出錯,Hadoop會看起來掛了。
再用./start-hbase.sh啓動HBase後,jps下,發現主節點上HMaster還是沒有啓動,在HBase log裏有下面異常:
FATAL org.apache.hadoop.hbase.master.HMaster: Unhandled exception. Starting shutdown.
java.lang.NoClassDefFoundError: org/apache/commons/configuration/Configuration
解決:
在NoClassDefFoundError,缺少 org/apache/commons/configuration/Configuration
果斷給他加一個commons-configuration包,
從hadoop_home/lib下面cp一個hadoop/lib/commons-configuration-1.6.jar到hbase_home/lib下。
(集羣上所有機子的hbase配置都需要一樣)
2 注意事項:
1)、先啓動hadoop後,再開啓hbase2)、去掉hadoop的安全模式:hadoop dfsadmin -safemode leave
3)、把/etc/hosts裏的ubuntu的IP改爲服務器當前的IP
4) 、確認hbase的hbase-site.xml中
<name>hbase.rootdir</name>
<value>hdfs://node:49002/hbase</value>
與hadoop的core-site.xml中
<name>fs.default.name</name>
<value>hdfs://node:49002/hbase</value>
紅字部分保持一致
<value>hdfs://localhost:8020/hbase</value>
6)、重新執行./start-hbase.sh之前,先kill掉當前的hbase和zookeeper進程
PS:遇到問題時,先查看logs,很有幫助。
HBase 官方文檔,全面介紹hbase安裝配置:
http://www.yankay.com/wp-content/hbase/book.html#hbase_default_configurations