我们可以通过CLI、Client、Web UI等
Hive提供的用户接口来和Hive通信,但这三种方式最常用的是CLI;Client 是Hive的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出Hive
Server所在节点,并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。今天我们来谈谈怎么通过HiveServer来操作Hive。
Hive提供了jdbc驱动,使得我们可以用
Java代码来连接Hive并进行一些类关系型数据库的sql语句查询等操作。同关系型数据库一样,我们也需要将Hive的服务打开;在Hive 0.11.0版本之前,只有HiveServer服务可用,你得在程序操作Hive之前,必须在Hive安装的服务器上打开HiveServer服务,如下:
1 |
[wyp @localhost
/home/q/hive- 0.11 . 0 ]$ bin/hive --service hiveserver -p
10002 |
2 |
Starting Hive Thrift Server |
上面代表你已经成功的在端口为10002(默认的端口是10000)启动了hiveserver服务。这时候,你就可以通过Java代码来连接hiveserver,代码如下:
08 |
import java.sql.SQLException; |
09 |
import java.sql.Connection; |
10 |
import java.sql.ResultSet; |
11 |
import java.sql.Statement; |
12 |
import java.sql.DriverManager; |
14 |
public class
HiveJdbcTest { |
16 |
private
static String driverName =
|
17 |
"org.apache.hadoop.hive.jdbc.HiveDriver" ; |
19 |
public
static void
main(String[] args) |
22 |
Class.forName(driverName); |
23 |
}
catch (ClassNotFoundException e) { |
28 |
Connection con = DriverManager.getConnection( |
30 |
Statement stmt = con.createStatement(); |
31 |
String tableName =
"wyphao" ; |
32 |
stmt.execute( "drop table if exists "
+ tableName); |
33 |
stmt.execute( "create table "
+ tableName + |
34 |
" (key int, value string)" ); |
35 |
System.out.println( "Create table success!" ); |
37 |
String sql =
"show tables '" + tableName +
"'" ; |
38 |
System.out.println( "Running: "
+ sql); |
39 |
ResultSet res = stmt.executeQuery(sql); |
41 |
System.out.println(res.getString( 1 )); |
45 |
sql =
"describe " + tableName; |
46 |
System.out.println( "Running: "
+ sql); |
47 |
res = stmt.executeQuery(sql); |
49 |
System.out.println(res.getString( 1 ) +
"\t" + res.getString( 2 )); |
53 |
sql =
"select * from " + tableName; |
54 |
res = stmt.executeQuery(sql); |
56 |
System.out.println(String.valueOf(res.getInt( 1 )) +
"\t" |
60 |
sql =
"select count(1) from " + tableName; |
61 |
System.out.println( "Running: "
+ sql); |
62 |
res = stmt.executeQuery(sql); |
64 |
System.out.println(res.getString( 1 )); |
编译上面的代码,之后就可以运行(我是在集成开发环境下面运行这个程序的),结果如下:
02 |
Running: show tables 'wyphao' |
04 |
Running: describe wyphao |
07 |
Running: select count( 1 ) from wyphao |
10 |
Process finished with exit code 0 |
如果你想在脚本里面运行,请将上面的程序打包成jar文件,并将上面的依赖库放在/home/wyp/lib/(这个根据你自己的情况弄)中,同时加入到运行的环境变量,脚本如下:
02 |
HADOOP_HOME=/home/q/hadoop- 2.2 . 0 |
03 |
HIVE_HOME=/home/q/hive- 0.11 . 0 -bin |
07 |
for i in /home/wyp/lib/*.jar ;
do |
08 |
CLASSPATH=$CLASSPATH:$i |
12 |
/home/q/java/jdk1. 6 .0_20/bin/java -cp \ |
13 |
$CLASSPATH:/export1/tmp/yangping.wu/OutputText.jar com.wyp.HiveJdbcTest |
上面是用Java连接HiveServer,而HiveServer本身存在很多问题(比如:安全性、并发性等);针对这些问题,Hive0.11.0版本提供了一个全新的服务:HiveServer2,这个很好的解决HiveServer存在的安全性、并发性等问题。这个服务启动程序在${HIVE_HOME}/bin/hiveserver2里面,你可以通过下面的方式来启动HiveServer2服务:
1 |
$HIVE_HOME/bin/hiveserver2 |
也可以通过下面的方式启动HiveServer2
1 |
$HIVE_HOME/bin/hive --service hiveserver2 |
两种方式效果都一样的。但是以前的程序需要修改两个地方,如下所示:
01 |
private static
String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver" ; |
03 |
private static
String driverName = "org.apache.hive.jdbc.HiveDriver" ; |
07 |
Connection con = DriverManager.getConnection( |
10 |
Connection con = DriverManager.getConnection( |
其他的不变就可以了。
这里顺便说说本程序所依赖的jar包,一共有以下几个:
1 |
hadoop- 2.2 . 0 /share/hadoop/common/hadoop-common- 2.2 . 0 .jar |
2 |
$HIVE_HOME/lib/hive-exec- 0.11 . 0 .jar
|
3 |
$HIVE_HOME/lib/hive-jdbc- 0.11 . 0 .jar
|
4 |
$HIVE_HOME/lib/hive-metastore- 0.11 . 0 .jar
|
5 |
$HIVE_HOME/lib/hive-service- 0.11 . 0 .jar
|
6 |
$HIVE_HOME/lib/libfb303- 0.9 . 0 .jar
|
7 |
$HIVE_HOME/lib/commons-logging- 1.0 . 4 .jar
|
8 |
$HIVE_HOME/lib/slf4j-api- 1.6 . 1 .jar |
如果你是用Maven,加入以下依赖
02 |
<groupId>org.apache.hive</groupId> |
03 |
<artifactId>hive-jdbc</artifactId> |
04 |
<version> 0.11 . 0 </version> |
08 |
<groupId>org.apache.hadoop</groupId> |
09 |
<artifactId>hadoop-common</artifactId> |
10 |
<version> 2.2 . 0 </version> |
尊重原创: 转载自过往记忆(http://www.iteblog.com/)