我們可以通過CLI、Client、Web UI等
Hive提供的用戶接口來和Hive通信,但這三種方式最常用的是CLI;Client 是Hive的客戶端,用戶連接至 Hive Server。在啓動 Client 模式的時候,需要指出Hive
Server所在節點,並且在該節點啓動 Hive Server。 WUI 是通過瀏覽器訪問 Hive。今天我們來談談怎麼通過HiveServer來操作Hive。
Hive提供了jdbc驅動,使得我們可以用
Java代碼來連接Hive並進行一些類關係型數據庫的sql語句查詢等操作。同關係型數據庫一樣,我們也需要將Hive的服務打開;在Hive 0.11.0版本之前,只有HiveServer服務可用,你得在程序操作Hive之前,必須在Hive安裝的服務器上打開HiveServer服務,如下:
1 |
[wyp @localhost
/home/q/hive- 0.11 . 0 ]$ bin/hive --service hiveserver -p
10002 |
2 |
Starting Hive Thrift Server |
上面代表你已經成功的在端口爲10002(默認的端口是10000)啓動了hiveserver服務。這時候,你就可以通過Java代碼來連接hiveserver,代碼如下:
08 |
import java.sql.SQLException; |
09 |
import java.sql.Connection; |
10 |
import java.sql.ResultSet; |
11 |
import java.sql.Statement; |
12 |
import java.sql.DriverManager; |
14 |
public class
HiveJdbcTest { |
16 |
private
static String driverName =
|
17 |
"org.apache.hadoop.hive.jdbc.HiveDriver" ; |
19 |
public
static void
main(String[] args) |
22 |
Class.forName(driverName); |
23 |
}
catch (ClassNotFoundException e) { |
28 |
Connection con = DriverManager.getConnection( |
30 |
Statement stmt = con.createStatement(); |
31 |
String tableName =
"wyphao" ; |
32 |
stmt.execute( "drop table if exists "
+ tableName); |
33 |
stmt.execute( "create table "
+ tableName + |
34 |
" (key int, value string)" ); |
35 |
System.out.println( "Create table success!" ); |
37 |
String sql =
"show tables '" + tableName +
"'" ; |
38 |
System.out.println( "Running: "
+ sql); |
39 |
ResultSet res = stmt.executeQuery(sql); |
41 |
System.out.println(res.getString( 1 )); |
45 |
sql =
"describe " + tableName; |
46 |
System.out.println( "Running: "
+ sql); |
47 |
res = stmt.executeQuery(sql); |
49 |
System.out.println(res.getString( 1 ) +
"\t" + res.getString( 2 )); |
53 |
sql =
"select * from " + tableName; |
54 |
res = stmt.executeQuery(sql); |
56 |
System.out.println(String.valueOf(res.getInt( 1 )) +
"\t" |
60 |
sql =
"select count(1) from " + tableName; |
61 |
System.out.println( "Running: "
+ sql); |
62 |
res = stmt.executeQuery(sql); |
64 |
System.out.println(res.getString( 1 )); |
編譯上面的代碼,之後就可以運行(我是在集成開發環境下面運行這個程序的),結果如下:
02 |
Running: show tables 'wyphao' |
04 |
Running: describe wyphao |
07 |
Running: select count( 1 ) from wyphao |
10 |
Process finished with exit code 0 |
如果你想在腳本里面運行,請將上面的程序打包成jar文件,並將上面的依賴庫放在/home/wyp/lib/(這個根據你自己的情況弄)中,同時加入到運行的環境變量,腳本如下:
02 |
HADOOP_HOME=/home/q/hadoop- 2.2 . 0 |
03 |
HIVE_HOME=/home/q/hive- 0.11 . 0 -bin |
07 |
for i in /home/wyp/lib/*.jar ;
do |
08 |
CLASSPATH=$CLASSPATH:$i |
12 |
/home/q/java/jdk1. 6 .0_20/bin/java -cp \ |
13 |
$CLASSPATH:/export1/tmp/yangping.wu/OutputText.jar com.wyp.HiveJdbcTest |
上面是用Java連接HiveServer,而HiveServer本身存在很多問題(比如:安全性、併發性等);針對這些問題,Hive0.11.0版本提供了一個全新的服務:HiveServer2,這個很好的解決HiveServer存在的安全性、併發性等問題。這個服務啓動程序在${HIVE_HOME}/bin/hiveserver2裏面,你可以通過下面的方式來啓動HiveServer2服務:
1 |
$HIVE_HOME/bin/hiveserver2 |
也可以通過下面的方式啓動HiveServer2
1 |
$HIVE_HOME/bin/hive --service hiveserver2 |
兩種方式效果都一樣的。但是以前的程序需要修改兩個地方,如下所示:
01 |
private static
String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver" ; |
03 |
private static
String driverName = "org.apache.hive.jdbc.HiveDriver" ; |
07 |
Connection con = DriverManager.getConnection( |
10 |
Connection con = DriverManager.getConnection( |
其他的不變就可以了。
這裏順便說說本程序所依賴的jar包,一共有以下幾個:
1 |
hadoop- 2.2 . 0 /share/hadoop/common/hadoop-common- 2.2 . 0 .jar |
2 |
$HIVE_HOME/lib/hive-exec- 0.11 . 0 .jar
|
3 |
$HIVE_HOME/lib/hive-jdbc- 0.11 . 0 .jar
|
4 |
$HIVE_HOME/lib/hive-metastore- 0.11 . 0 .jar
|
5 |
$HIVE_HOME/lib/hive-service- 0.11 . 0 .jar
|
6 |
$HIVE_HOME/lib/libfb303- 0.9 . 0 .jar
|
7 |
$HIVE_HOME/lib/commons-logging- 1.0 . 4 .jar
|
8 |
$HIVE_HOME/lib/slf4j-api- 1.6 . 1 .jar |
如果你是用Maven,加入以下依賴
02 |
<groupId>org.apache.hive</groupId> |
03 |
<artifactId>hive-jdbc</artifactId> |
04 |
<version> 0.11 . 0 </version> |
08 |
<groupId>org.apache.hadoop</groupId> |
09 |
<artifactId>hadoop-common</artifactId> |
10 |
<version> 2.2 . 0 </version> |
尊重原創: 轉載自過往記憶(http://www.iteblog.com/)