hive整合hbase

1.首先把hive下的指定jar複製到hbase的lib下

scp $HIVE_HOME/lib/hive-hbase-handler-1.1.0-cdh5.4.0.jar $HBASE_HOME/lib/

2. 把hbase下的所有jar複製到hive的lib下

scp $HBASE_HOME/lib/*.jar $HIVE_HOME/lib/

3.整合代碼

在hive的客戶端中運行下面的代碼進行整合:

create external table hivetable(rowkey string, column1 string,column2 string,column3 string)   

stored by'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

with serdeproperties ("hbase.columns.mapping" = ":key,columnfamily1:column1,columnfamily1:column2,columnfamily2:column3")      tblproperties ("hbase.table.name"="hbasetable"); 

上面這個建表語句表示在Hive中建立一個外部表—名字叫做hivetable,與其在Hbase中建立映射關係的表名字爲hbasetable,映射關係如下: 
hivetable —————————————hbasetable 
rowkey<—————>key (Hive中的rowkey字段關聯到Hbase中的行健key) 
column1<————–>columnfamily1:column1(hivetable中的column1映射到hbasetable中columnfamily1上的column1字段) 
column2<————–>columnfamily1:column2(hivetable中的column2映射到hbasetable中columnfamily1上的column2字段) 
column3<————–>columnfamily2:column3(hivetable中的column3映射到hbasetable中columnfamily2上的column3字段) 
stored by ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’ 的含義是:Hive與Hbase整合功能(互相通信)的實現主要是通過hive_hbase-handler.jar這個工具類來完成的,而語法中的HBaseStorageHandler指的就是這個工具類。

 

CREATE EXTERNAL TABLE if not exists StocksInfo(

         Rowkey string,

         Code string,

         Name string

  )

 STORED BY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

 WITH SERDEPROPERTIES('hbase.columns.mapping' =':key,d:Code,d:Name')

 TBLPROPERTIES('hbase.table.name' ='StocksInfo');

 hbase.columns.mapping: Hive表和HBase表的字段映射關係,分別爲:Hive表中第一個字段映射:key(rowkey),d:code (d 指hbase 數據庫 stocksInfo 表列族,code 列名)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章