Hive Shell参数:

Hive  命令行:
  语法结构:

         bin/hive [-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-e querystring>] [-S]
             

说明:
1、 -i 从文件初始化HQL。
2、 -e从命令行执行指定的HQL
3、 -f 执行HQL脚本
4、 -v 输出执行的HQL语句到控制台
5、 -p connect to Hive Server on port number
6、 -hiveconf x=y Use this to set hive/hadoop configuration variables. 设置hive运行时候的参数
配置
 

Hive 参数配置方式:

      开发Hive应用时,不可避免地需要设定Hive的参数。设定Hive的参数可以调优HQL代码的执行
效率,或帮助定位问题.

 

对于一般参数,有以下三种设定方式:

  1. 配置文件
  2. 命令行参数
  3. 参数声明

配置文件:  Hive的配置文件包括

用户自定义配置文件:$HIVE_CONF_DIR/hive-site.xml
默认配置文件: $HIVE_CONF_DIR/hive-default.xml
另外,Hive也会读入Hadoop的配置,因为Hive是作为Hadoop的客户端启动的,Hive的配置会覆盖Hadoop的配置。

配置文件的设定对本机启动的所有Hive都有效。

命令行参数: 启动Hive(客户端或Server方式)时,可以在命令行添加-hiveconf param=value
来设定参数,例如:

bin/hive -hiveconf hive.root.logger=INFO,console
 

这一设定对本次启动的Session(对于Server方式启动,则是所有请求的Sessions)有效。

参数声明 :可以在HQL中使用SET关键字设定参数,例如:

set mapred.reduce.tasks=100;
 

上述三种设定方式的优先级依次递增。即参数声明复盖命令行参数,命令行参数覆盖配置文
件设定。注意某些系统级的参数,例如log4j相关的设定,必须用前两种方式设定,因为那些
参数的读取在Session建立以前已经完成了。

参数声明 > 命令行参数 > 配置文件参数(hive)

 

Hive函数:

        内置函数:

       内容较多: 详情见文档:

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF

查看系统自带的函数:

    hive>   show  functions;

显示自带的函数的用法:

hive> desc function upper;

详情显示自带的函数用法:

hive> desc function extended upper;
 

常用内置函数:

 

#字符串连接函数: concat
select concat('abc','def’,'gh');
#带分隔符字符串连接函数: concat_ws
select concat_ws(',','abc','def','gh');
#cast类型转换
select cast(1.5 as int);
#get_json_object(json 解析函数,用来处理json,必须是json格式)
select get_json_object('{"name":"jack","age":"20"}','$.name');
#URL解析函数
select parse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1',
'HOST');
#explode:把map集合中每个键值对或数组中的每个元素都单独生成一行的形式
 

 

自定义函数:

          Hive 自带了一些函数,比如:max/min等,当Hive提供的内置函数无法满足你的业务处
理需要时,此时就可以考虑使用用户自定义函数(UDF).
 

根据用户自定义函数类别分为以下三种:
1. UDF(User-Defined-Function)
             一进一出
2. UDAF(User-Defined Aggregation Function)
              聚集函数,多进一出
              类似于: count / max / min
3. UDTF(User-Defined Table-Generating Functions)
               一进多出
              如 lateral view explore()
3. 编程步骤:
                      1. 继承org.apache.hadoop.hive.ql.UDF
                      2. 需要实现evaluate函数;evaluate函数支持重载;
4. 注意事项
                      1. UDF必须要有返回类型,可以返回null,但是返回类型不能为void;
                       2. UDF中常用Text/LongWritable等类型,不推荐使用java类型;
 

UDF开发实例:

Step1创建Maven工程:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>hadoop_api</artifactId>
        <groupId>com.hadoop.api</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>
     <packaging>jar</packaging>
    <artifactId>hive-demo</artifactId>


    <dependencies>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>2.1.1</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.5</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

Step2:开发java类集成UDF

package com.hive;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public class MyUDF extends UDF {

    // 模拟Hive的upper方法 将字符串的第一个字符转为大写,而其他字符不变
    public Text evaluate(final Text line){
        if(line.toString() != null && !line.toString().equals("")){
            String str = line.toString().substring(0, 1).toUpperCase() + line.toString().substring(1);
            return new Text(str);
        }
        return new Text("");

    }

}

Step3项目打包,并上传到hive的lib目录下:

Step4:添加jar包:

重命名我们的jar包名称:

cd    /export/servers/apache-hive-2.7.5-bin/lib

mv original-day_10_hive_udf-1.0-SNAPSHOT.jar my_upper.jar

hive的客户端添加我们的jar包:
add  jar    /export/servers/apache-hive-2.7.5-bin/lib/my_upper.jar;

Step5设置函数与我们的自定义函数关联:
create   temporary   function my_upper as 'com.hive.MyUDF';

Step6  使用自定义函数:

 

select  my_upper('abc');

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章