Hive HBase整合使用

Hive HBase整合使用

將Hive中的數據導入到HBase中

wiki上的介紹鏈接如下：

http://wiki.apache.org/hadoop/Hive/HBaseIntegration

 

各版本要求：

hadoop-0.20.2

hbase-0.20.3

hive-0.6.0（之前的版本都不支持）

zookeeper-3.3.0

 

確認目錄下有這個jar包：

./hive-0.6.0/lib/hive_hbase-handler.jar

 

 

加載這個jar包啓動hive：

單個hbase服務器的啓動命令如下：

bin/hive --auxpath /home/hadoopuser/hive-0.6.0/lib/hive_hbase-handler.jar,/home/hadoopuser/hive-0.6.0/lib/hbase-0.20.3.jar -hiveconf hbase.master=master:60000

如果使用zookeeper爲hbase集羣選擇一個master

bin/hive --auxpath /home/hadoopuser/hive-0.6.0/lib/hive_hbase-handler.jar,/home/hadoopuser/hive-0.6.0/lib/hbase-0.20.3.jar -hiveconf hbase.zookeeper.quorum=server1,server2,server3

 

舉例子 ：

創建HBase

CREATE TABLE hbase_table_1(key int, value string) 

STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")

TBLPROPERTIES ("hbase.table.name" = "xyz");

 

hbase.table.name這項說明，在Hive這個表叫做 hbase_table_1 ，在HBase中這個表叫做 xyz。

hive> describe hbase_table_1;

OK

key     int     from deserializer

value   string  from deserializer

Time taken: 0.225 seconds

 

hbase(main):001:0> describe 'xyz'

DESCRIPTION                                                             ENABLED

 {NAME => 'xyz', FAMILIES => [{NAME => 'cf1', COMPRESSION => 'NONE', VE true

 RSIONS => '3', TTL => '2147483647', BLOCKSIZE => '65536', IN_MEMORY =>

  'false', BLOCKCACHE => 'true'}]}

1 row(s) in 0.1040 seconds

hbase(main):002:0>

 

 

CREATE TABLE pokes (foo INT, bar STRING);  

LOAD DATA LOCAL INPATH './examples/files/kv1.txt' OVERWRITE INTO TABLE pokes; 

 

INSERT OVERWRITE TABLE hbase_table_1 SELECT * FROM pokes WHERE foo=86;