hive自定義函數
1 自定義函數
1.1 爲什麼需要自定義函數
hive的內置函數滿足不了所有的業務需求。
hive提供很多的模塊可以自定義功能，比如：自定義函數、serde、輸入輸出格式等。
1.2 常見自定義函數有哪些
- UDF：用戶自定義函數，user defined function。一對一的輸入輸出。（最常用的）。
- UDTF：用戶自定義表生成函數。user defined table-generate function.一對多的輸入輸出。lateral view explode
- UDAF：用戶自定義聚合函數。user defined aggregate function。多對一的輸入輸出 count sum max。
2 自定義函數實現
2.1 UDF格式
先在工程下新建一個pom.xml,加入以下maven的依賴包 請查看code/pom.xml
定義UDF函數要注意下面幾點:
- 繼承
org.apache.hadoop.hive.ql.exec.UDF - 重寫
evaluate()，這個方法不是由接口定義的,因爲它可接受的參數的個數,數據類型都是不確定的。Hive會檢查UDF,看能否找到和函數調用相匹配的evaluate()方法
2.1.1 自定義函數第一個案例
public class FirstUDF extends UDF {
public String evaluate(String str){
String upper = null;
//1、檢查輸入參數
if (StringUtils.isEmpty(str)){
} else {
upper = str.toUpperCase();
}
return upper;
}
//調試自定義函數
public static void main(String[] args){
System.out.println(new firstUDF().evaluate("bingbing"));
}
}
2.2 函數加載方式
2.2.1 命令加載
這種加載只對本session有效
# 1、將編寫的udf的jar包上傳到服務器上，並且將jar包添加到hive的class path中
# 進入到hive客戶端,執行下面命令
add jar /hivedata/udf.jar
# 2、創建一個臨時函數名,要跟上面hive在同一個session裏面：
create temporary function toUP as 'com.qf.hive.FirstUDF';
3、檢查函數是否創建成功
show functions;
4. 測試功能
select toUp('bingbing');
5. 刪除函數
drop temporary function if exists tolow;
2.2.2 啓動參數加載
(也是在本session有效，臨時函數)
1、將編寫的udf的jar包上傳到服務器上
2、創建配置文件
vi ./hive-init
add jar /hivedata/udf.jar;
create temporary function toup as 'com.qf.hive.FirstUDF';
# 3、啓動hive的時候帶上初始化文件：
hive -i ./hive-init
select toup('bingbing')
2.2.3 配置文件加載
通過配置文件方式這種只要用hive命令行啓動都會加載函數
1、將編寫的udf的jar包上傳到服務器上
2、在hive的安裝目錄的bin目錄下創建一個配置文件，文件名：.hiverc
vi ./bin/.hiverc
add jar /hivedata/udf.jar;
create temporary function toup as 'com.qf.hive.FirstUDF';
3、啓動hive
hive
2.3 UDTF格式
UDTF是一對多的輸入輸出,實現UDTF需要完成下面步驟
- 繼承
org.apache.hadoop.hive.ql.udf.generic.GenericUDF， - 重寫initlizer（）、getdisplay（）、evaluate()。
執行流程如下:
UDTF首先會調用initialize方法，此方法返回UDTF的返回行的信息（返回個數，類型）。
初始化完成後，會調用process方法,真正的處理過程在process函數中，在process中，每一次forward()調用產生一行；如果產生多列可以將多個列的值放在一個數組中，然後將該數組傳入到forward()函數。
最後close()方法調用，對需要清理的方法進行清理。
2.3.1 需求:
把"k1:v1;k2:v2;k3:v3"類似的的字符串解析成每一行多行,每一行按照key:value格式輸出
2.3.2 源碼
自定義函數如下:
package com.qf.hive;
public class ParseMapUDTF extends GenericUDTF{
@Override
public void close() throws HiveException {
}
@Override
public StructObjectInspector initialize(ObjectInspector[] args)
throws UDFArgumentException {
if (args.length != 1) {
throw new UDFArgumentLengthException(" 只能傳入一個參數");
}
ArrayList<String> fieldNameList = new ArrayList<String>();
ArrayList<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>();
fieldNameList.add("map");
fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
fieldNameList.add("key");
fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNameList,fieldOIs);
}
@Override
public void process(Object[] args) throws HiveException {
String input = args[0].toString();
String[] paramString = input.split(";");
for(int i=0; i<paramString.length; i++) {
try {
String[] result = paramString[i].split(":");
forward(result);
} catch (Exception e) {
continue;
}
}
}
}
2.3.3 打包加載
對上述命令源文件打包爲udf.jar,拷貝到服務器的/hivedata/目錄
在Hive客戶端把udf.jar加入到hive中,如下:
add jar /hivedata/udf.jar;
2.3.4 創建臨時函數:
在Hive客戶端創建函數:
create temporary function parseMap as 'com.qf.hive.ParseMapUDTF'; # 創建一個臨時函數parseMap
# 查看函數是否加入
show functions ;
2.3.5 測試臨時函數
select parseMap("name:bingbing;age:33;address:beijing")
結果如下:
#map key
name bingbing
age 33
address beijing
2.4 UDAF格式
用戶自定義聚合函數。user defined aggregate function。多對一的輸入輸出 count sum max。定義一個UDAF需要如下步驟:
- UDF自定義函數必須是org.apache.hadoop.hive.ql.exec.UDAF的子類,並且包含一個火哥多個嵌套的的實現了org.apache.hadoop.hive.ql.exec.UDAFEvaluator的靜態類。
- 函數類需要繼承UDAF類，內部類Evaluator實UDAFEvaluator接口。
- Evaluator需要實現 init、iterate、terminatePartial、merge、terminate這幾個函
這幾個函數作用如下:
| 函數 | 說明 |
|---|---|
| init | 實現接口UDAFEvaluator的init函數 |
| iterate | 每次對一個新值進行聚集計算都會調用,計算函數要根據計算的結果更新其內部狀態 |
| terminatePartial | 無參數，其爲iterate函數輪轉結束後，返回輪轉數據 |
| merge | 接收terminatePartial的返回結果，進行數據merge操作，其返回類型爲boolean。 |
| terminate | 返回最終的聚集函數結果。 |
2.4.1 需求
計算一組整數的最大值
2.4.2 代碼
package com.qf.hive;
public class MaxValueUDAF extends UDAF {
public static class MaximumIntUDAFEvaluator implements UDAFEvaluator {
private IntWritable result;
public void init() {
result = null;
}
public boolean iterate(IntWritable value) {
if (value == null) {
return true;
}
if (result == null) {
result = new IntWritable( value.get() );
} else {
result.set( Math.max( result.get(), value.get() ) );
}
return true;
}
public IntWritable terminatePartial() {
return result;
}
public boolean merge(IntWritable other) {
return iterate( other );
}
public IntWritable terminate() {
return result;
}
}
}
2.4.3 打包加載
對上述命令源文件打包爲udf.jar,拷貝到服務器的/hivedata/目錄
在Hive客戶端把udf.jar加入到hive中,如下:
add jar /hivedata/udf.jar;
2.4.4 創建臨時函數:
在Hive客戶端創建函數:
create temporary function maxInt as 'com.qf.hive.MaxValueUDAF';
# 查看函數是否加入
show functions ;
2.3.5 測試臨時函數
select maxInt(mgr) from emp
結果如下:
#結果
7902
至此爲止，三類hive自定義函數就完成啦…