Hive 命令行:
语法结构:
bin/hive [-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-e querystring>] [-S]
说明:
1、 -i 从文件初始化HQL。
2、 -e从命令行执行指定的HQL
3、 -f 执行HQL脚本
4、 -v 输出执行的HQL语句到控制台
5、 -p connect to Hive Server on port number
6、 -hiveconf x=y Use this to set hive/hadoop configuration variables. 设置hive运行时候的参数
配置
Hive 参数配置方式:
开发Hive应用时,不可避免地需要设定Hive的参数。设定Hive的参数可以调优HQL代码的执行
效率,或帮助定位问题.
对于一般参数,有以下三种设定方式:
- 配置文件
- 命令行参数
- 参数声明
配置文件: Hive的配置文件包括
用户自定义配置文件:$HIVE_CONF_DIR/hive-site.xml
默认配置文件: $HIVE_CONF_DIR/hive-default.xml
另外,Hive也会读入Hadoop的配置,因为Hive是作为Hadoop的客户端启动的,Hive的配置会覆盖Hadoop的配置。
配置文件的设定对本机启动的所有Hive都有效。
命令行参数: 启动Hive(客户端或Server方式)时,可以在命令行添加-hiveconf param=value
来设定参数,例如:
bin/hive -hiveconf hive.root.logger=INFO,console
这一设定对本次启动的Session(对于Server方式启动,则是所有请求的Sessions)有效。
参数声明 :可以在HQL中使用SET关键字设定参数,例如:
set mapred.reduce.tasks=100;
上述三种设定方式的优先级依次递增。即参数声明复盖命令行参数,命令行参数覆盖配置文
件设定。注意某些系统级的参数,例如log4j相关的设定,必须用前两种方式设定,因为那些
参数的读取在Session建立以前已经完成了。
参数声明 > 命令行参数 > 配置文件参数(hive)
Hive函数:
内置函数:
内容较多: 详情见文档:
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF
查看系统自带的函数:
hive> show functions;
显示自带的函数的用法:
hive> desc function upper;
详情显示自带的函数用法:
hive> desc function extended upper;
常用内置函数:
#字符串连接函数: concat
select concat('abc','def’,'gh');
#带分隔符字符串连接函数: concat_ws
select concat_ws(',','abc','def','gh');
#cast类型转换
select cast(1.5 as int);
#get_json_object(json 解析函数,用来处理json,必须是json格式)
select get_json_object('{"name":"jack","age":"20"}','$.name');
#URL解析函数
select parse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1',
'HOST');
#explode:把map集合中每个键值对或数组中的每个元素都单独生成一行的形式
自定义函数:
Hive 自带了一些函数,比如:max/min等,当Hive提供的内置函数无法满足你的业务处
理需要时,此时就可以考虑使用用户自定义函数(UDF).
根据用户自定义函数类别分为以下三种:
1. UDF(User-Defined-Function)
一进一出
2. UDAF(User-Defined Aggregation Function)
聚集函数,多进一出
类似于: count / max / min
3. UDTF(User-Defined Table-Generating Functions)
一进多出
如 lateral view explore()
3. 编程步骤:
1. 继承org.apache.hadoop.hive.ql.UDF
2. 需要实现evaluate函数;evaluate函数支持重载;
4. 注意事项
1. UDF必须要有返回类型,可以返回null,但是返回类型不能为void;
2. UDF中常用Text/LongWritable等类型,不推荐使用java类型;
UDF开发实例:
Step1创建Maven工程:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<parent>
<artifactId>hadoop_api</artifactId>
<groupId>com.hadoop.api</groupId>
<version>1.0-SNAPSHOT</version>
</parent>
<modelVersion>4.0.0</modelVersion>
<packaging>jar</packaging>
<artifactId>hive-demo</artifactId>
<dependencies>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>2.1.1</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.7.5</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.0</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
<encoding>UTF-8</encoding>
</configuration>
</plugin>
</plugins>
</build>
</project>
Step2:开发java类集成UDF
package com.hive;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
public class MyUDF extends UDF {
// 模拟Hive的upper方法 将字符串的第一个字符转为大写,而其他字符不变
public Text evaluate(final Text line){
if(line.toString() != null && !line.toString().equals("")){
String str = line.toString().substring(0, 1).toUpperCase() + line.toString().substring(1);
return new Text(str);
}
return new Text("");
}
}
Step3项目打包,并上传到hive的lib目录下:
Step4:添加jar包:
重命名我们的jar包名称:
cd /export/servers/apache-hive-2.7.5-bin/lib
mv original-day_10_hive_udf-1.0-SNAPSHOT.jar my_upper.jar
hive的客户端添加我们的jar包:
add jar /export/servers/apache-hive-2.7.5-bin/lib/my_upper.jar;
Step5设置函数与我们的自定义函数关联:
create temporary function my_upper as 'com.hive.MyUDF';
Step6 使用自定义函数:
select my_upper('abc');