自定義hive永久函數詳細步驟

自定義hive永久函數詳細步驟

需求原因:

本公司有部門需要,hive本身提供一個nvl的函數,但是該函數只對null值起作用,現在的需求是不只是對null起作用,對“”這樣的空值也要起作用,所以需要自定義一個名叫nvls的函數,並集成到hive當中去。

具體步驟:

1:先寫好java文件內容如下:

package org.apache.hadoop.hive.ql.udf;

 

import org.apache.hadoop.hive.ql.exec.UDF;

import org.apache.hadoop.io.Text;

 

public class MyNvl extends UDF {

public Text evaluate(final Text t,final Text x) {

if(t!=null){

if(t.toString().equals("")){

return x;

}

}else{

return x;

}

return t;

}

}

2:測試:

2.1:先打成jar包名叫lixiyuan.jar,然後上傳到服務器上。本人賬戶是zb_test

Jar包放到/data/zb_test目錄下。

然後進入hive

選測試的數據庫:

Use test

然後添加jar

Add jar /data/zb_test/lixiyuan.jar

然後創建函數

Create temporary function nvls as org.apahce.hadoop.hive.ql.udf.MyNvl;

然後就可以測試了

測試成功以後我們就要把集成到hive中去。

3:把函數集成到hive中去

先說一下添加永久函數的思路:首先hive裏的函數是跟hive-exec-0.12.0-cdh5.0.0.jarjar包有關的

具體的說就是我們要做兩件事:

1:先修改環境變量vi ./.bashrc。內容修改爲爲如下:

CLASSPATH改成如下:

export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$SQOOP_HOME/lib:/opt/boh-2.0.0/hadoop/share/hadoop/tools/lib/*:/opt/boh-2.0.0/hadoop/share/hadoop/common/lib/*:/opt/boh-2.0.0/hadoop/share/hadoop/common/*:/opt/boh-2.0.0/hive/li

(爲一行)

把剛剛寫的java文件編譯成class文件,然後添加到hive-exec-0.12.0-cdh5.0.0.jar解壓後的udf目錄下

2:修改hive-exec-0.12.0-cdh5.0.0.jar裏的exec目錄下的FunctionRegistry文件,但是我們解壓出來的是都人家編譯好的,所以得需要我們找到源碼,找到FunctionRegistry.java文件後,往裏面添加:

import org.apache.hadoop.hive.ql.udf.MyNvl;

registerUDF(“nvls”, MyNvl.class,false);

完成這兩個步驟就可以了。

但是問題來了:

完成第一個步驟是簡單的,完成第二個步驟就複雜一點了,因爲咱們修改了FunctionRegistry.java文件後得編譯成class文件以後才能用來替換原來的FunctionRegistry.class文件。所以現在解決的是怎麼編譯FunctionRegistry.java文件。

3:如何編譯FunctionRegistry.java文件:

因爲FunctionRegistry.java裏面有:import org.apache.hadoop.hive.ql.udf.MyNvl;

registerUDF(“nvls”, MyNvl.class,false);這樣的信息。

所以我們先把剛剛先新建這樣的一個目錄:

Org/apache/hadoop/hive/ql/udf然後往裏面放MyNvl.class文件。

然後把這個org的目錄打成jar包。名叫hello.jar

Jar -cvf /data/zb_test/hello.jar /data/zb_test/org/

接着,修改環境變量:

CLASSPATH改成如下:

export CLASSPATH=/data/zb_test/hello.jar:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$SQOOP_HOME/lib:/opt/boh-2.0.0/hadoop/share/hadoop/tools/lib/*:/opt/boh-2.0.0/hadoop/share/hadoop/common/lib/*:/opt/boh-2.0.0/hadoop/share/hadoop/common/*:/opt/boh-2.0.0/hive/li

然後這樣就可以編譯FunctionRegistry.java文件了

Javac ./FunctionRegistry.java

然後用生成的FunctionRegistry.class文件替換原來的文件。然後重新把解壓的東西打包成:

hive-exec-0.12.0-cdh5.0.0.jar替換hive裏原來的就ok了。

搞定,手工!


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章