Hive創建自定義UDF函數

Hive創建自定義UDF函數

博客資源:

創建UDF函數用到的pom文件,下載後可以複製進maven工程中。

鏈接:https://pan.baidu.com/s/164eYKN-6RewyQwcNzY8DMw
提取碼:k1uz

1. 首先打開IDEA,創建一個maven項目

[外鏈圖片轉存失敗(img-t38ExL8b-1568773841012)(D:\學習筆記\hadoop\保存圖片\HiveUDF\01創建一個maven工程.jpg)]

[外鏈圖片轉存失敗(img-l8JTICla-1568773841014)(D:\學習筆記\hadoop\保存圖片\HiveUDF\02創建一個maven工程.jpg)]

[外鏈圖片轉存失敗(img-hulUfDB6-1568773841016)(D:\學習筆記\hadoop\保存圖片\HiveUDF\03創建一個maven工程.jpg)]

2. 導入所需要的依賴

相關的依賴見附件(pom.xml)。

[外鏈圖片轉存失敗(img-nEV2zvq7-1568773841018)(D:\學習筆記\hadoop\保存圖片\HiveUDF\04添加依賴.jpg)]

3. 創建一個包來存儲相關的類

[外鏈圖片轉存失敗(img-3yVtjtxk-1568773841019)(D:\學習筆記\hadoop\保存圖片\HiveUDF\05創建保存相關類的包.jpg)]

4. 寫一個 java 類,繼承 UDF,並重載 evaluate 方法

[外鏈圖片轉存失敗(img-rgG7Btef-1568773841025)(D:\學習筆記\hadoop\保存圖片\HiveUDF\06創建相關類.jpg)]

5. 將寫好的程序打包

[外鏈圖片轉存失敗(img-oHkiUwdK-1568773841026)(D:\學習筆記\hadoop\保存圖片\HiveUDF\07打包.jpg)]

6. 上傳至Linux系統上

[外鏈圖片轉存失敗(img-yRkt3VSQ-1568773841027)(D:\學習筆記\hadoop\保存圖片\HiveUDF\08上傳至Linux.jpg)]

7. 連接上Hive

這裏直接在node1上連接,不通過node-3來連接。

[外鏈圖片轉存失敗(img-EJhS5NWF-1568773841028)(D:\學習筆記\hadoop\保存圖片\HiveUDF\09連接上Hive.jpg)]

8. 使用命令,將jar包添加進Hive中

add JAR /export/data/hivedata/example-hiveudf-1.jar;

[外鏈圖片轉存失敗(img-Y84gNBm7-1568773841028)(D:\學習筆記\hadoop\保存圖片\HiveUDF\10添加jar包進Hive.jpg)]

9. 創建一個臨時函數與添加進來的jar包進行關聯

create temporary function testfunc as 'com.chinasofti.hive.udf.TestFunc';

[外鏈圖片轉存失敗(img-Vf2wlR5i-1568773841029)(D:\學習筆記\hadoop\保存圖片\HiveUDF\11定義一個函數名與剛添加的jar包對應.jpg)]

10. 測試一下

[外鏈圖片轉存失敗(img-KFlqxvNO-1568773841029)(D:\學習筆記\hadoop\保存圖片\HiveUDF\12測試.jpg)]

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章