hive中UDTF函數explode詳解 + explode與lateral view 3套案例練習

前言:每次使用UDTF函數的時候都要百度，會用但一直一知半解，今天對UDTF函數做一個總結。

目錄：
一、UDTF函數 explode() 講解
二、百度explode()，總會出現lateral view，它們各自的作用是什麼？
三、explode、posexplode與lateral view 3套案例練習
1、找出相同數字的號碼超過5位的手機號
2、求一下每個學生成績最好的學科及分數、最差的學科及分數、平均分數
3、計算酒店每天房間的入住數--重點

hive中的函數分爲3類,UDF函數、UDAF函數、UDTF函數

• UDF：一進一出
• UDAF:聚集函數，多進一出，類似於：count/max/min
• UDTF:一進多出,如explore()、posexplode()，UDTF函數的時候只允許一個字段

百度explode()時，經常會出現lateral view + explode相關的文章，很少單獨寫explode()。分別瞭解ecplode() 與lateral view的各自作用很重要，不然過程都不知道實現的，換個UDTF函數就不會使用了。
而大部分文章都是explode()與lateral view一起講解,當我們都不會使用UDTF函數時，不理解該類函數時，不知道僅UDTF函數如何使用、我們也不會真正的使用。所以先看第一部分吧

一、UDTF函數 explode() 講解

UDTF函數作用都是輸入一行數據，將該行數據拆分、並返回多行數據。不同的UDTF函數只是拆分的原理不同、作用的數據格式不同而已。
這裏詳細講解explode()用法，學會這一個其他的UDTF函數也會使用。

explode()將一行數據轉換成列數據，可以用於array和map類型的數據
1）explode()用於array的語法如下：

select explode(arraycol) as newcol from tablename;

#arraycol：arrary數據類型字段。
#tablename：表名

2）explode()用於map的語法如下：

select explode(mapcol) as (keyname,valuename) from tablename;
#tablename：表名
#mapcol：map類型的字段
#keyname：表示key轉換成的列名稱，用於代表key轉換之後的列名。
#valuename：表示value轉換成的列名稱，用於代表value轉換之後的列名稱。

explode()用於map類型的數據時，由於map是kay-value結構的，所以它在轉換的時候會轉換成兩列，一列是kay轉換而成的，一列是value轉換而成的。

3）以上爲explode()函數的用法，此函數存在侷限性：

• 其一：不能關聯原有的表中的其他字段。
• 其二：不能與group by、cluster by、distribute by、sort by聯用。
• 其三：不能進行UDTF嵌套。
• 其四：不允許選擇其他表達式。

二、百度explode()，總會出現lateral view，它們各自的作用是什麼？

第一部分對explode()函數做了簡單的講解，知道它作用的數據格式爲array和map ,也知道了如何單獨使用explode，可能腦袋還是有點懵，下面將結合案例一起學習。

UDTF函數(如：explode)只能只允許對拆分字段進行訪問，即select時只能出現explode作用的字段，不能在選擇表中其它的字段，否則會報錯。
但是實際中需求中經常要拆某個字段,然後一起與別的字段一起取。這時就要使用lateral view。

lateral view爲側視圖,其實就是用來和像類似explode這種UDTF函數聯用的，lateral view會將UDTF生成的結果放到一個虛擬表中，然後這個虛擬表會和輸入行進行join來達到連接UDTF外的select字段的目的。

不加lateral view的UDTF函數只能提取單個字段拆分,並不能塞回原來數據表中。加上lateral view就可以將拆分的單個字段數據與原始表數據關聯上。在使用lateral view的時候需要指定視圖別名和生成的新列別名。

1、udtf + lateral view 格式一

lateral view udtf(expression) tableAlias as columnAlias (,columnAlias)*

• lateral view在UDTF前使用，表示連接UDTF所分裂的字段。
• UDTF(expression)：使用的UDTF函數，例如explode()。
• tableAlias：表示UDTF函數轉換的虛擬表的名稱。
• columnAlias：表示虛擬表的虛擬字段名稱，如果分裂之後有一個列，則寫一個即可；如果分裂之後有多個列，按照列的順序在括號中聲明所有虛擬列名，以逗號隔開。

2、udtf + lateral view 格式二

from basetable (lateral view)*

• 在from子句中使用，一般和格式一搭配使用，這個格式只是說明了lateral view的使用位置。
• from子句後面也可以跟多個lateral view語句，使用空格間隔就可以了

eg:
SELECT myCol1, myCol2 FROM baseTable
LATERAL VIEW explode(col1) myTable1 AS myCol1
LATERAL VIEW explode(col2) myTable2 AS myCol2;

#col1爲表baseTable字段中的map或者array類型
#col2爲表baseTable字段中的map或者array類型

3、udtf + lateral view 格式三

from basetable (lateral view outer)*

它比格式二隻是多了一個outer，這個outer的作用是在UDTF轉換列的時候將其中的空也給展示出來，UDTF默認是忽略輸出空的，加上outer之後，會將空也輸出，顯示爲NULL。這個功能是在Hive0.12是開始支持的

eg:
select name,key,value from student_score lateral view outer explode(score) scntable as key,value;

-------------可接助下面邏輯理解-------------

# 查看錶數據
hive> select * from udtf_test;
OK
jim5    ["james5","datacloase"]
jim4    ["james4","datacloase"]
jim3    ["james3","datacloase"]
jim2    ["james2","datacloase"]
Time taken: 0.084 seconds, Fetched: 4 row(s)

# 1）hive只允許對其拆分字段進行訪問
hive> select explode(subordinates) from udtf_test;
OK
james5
datacloase
james4
datacloase
james3
datacloase
james2
datacloase
Time taken: 0.075 seconds, Fetched: 8 row(s)

#2）同時select 查詢 explode作用字段及其它字段時，報錯
hive> select explode(subordinates),name from udtf_test;
FAILED: SemanticException 1:29 Only a single expression in the SELECT clause is supported with UDTF's. Error encountered near token 'name'

#3）藉助lateral view，同時查詢explode作用字段及其它字段
hive> select name,subordinate from udtf_test
    > lateral view explode(subordinates)sub as subordinate;
OK
jim5    james5
jim5    datacloase
jim4    james4
jim4    datacloase
jim3    james3
jim3    datacloase
jim2    james2
jim2    datacloase
Time taken: 0.06 seconds, Fetched: 8 row(s)

三、explode、posexplode與lateral view 2套案例練習

拓展：
explode與lateral view在關係型數據庫中本身是不該出現的，因爲他的出現本身就是在操作不滿足第一範式的數據（每個屬性都不可再分），本身已經違背了數據庫的設計原理（不論是業務系統還是數據倉庫系統）
不過大數據技術普及後，很多類似pv，uv的數據，在業務系統中是存貯在非關係型數據庫中，用json存儲的概率比較大，直接導入hive基礎的數倉系統中，就需要經過ETL過程解析這類數據，explode與lateral view在這種場景下大顯身手。

1、找出相同數字的號碼超過5位的手機號

1) 使用數據

jimmhe  18191512076
xiaosong    18392988059
jingxianghua    18118818818
donghualing 17191919999

2) 創建表

CREATE TABLE udtf_test1(
  name string, 
  phonenumber string)
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY '\t'

3) 加載數據

load data local inpath '/home/atguigu/data/test_20211215.txt' into table udtf_test1;

4) 查看加載表數據

hive> select * from udtf_test1;
OK
jimmhe  18191512076
xiaosong    18392988059
jingxianghua    18118818818
donghualing 17191919999
Time taken: 0.076 seconds, Fetched: 4 row(s)

5) 解題分析思路
split將電話號碼，拆分成數組，在用explode炸裂

select name,phonenumber
from(
select 
    name
    ,phonenumber
    ,phone_num
from udtf_test1
lateral view explode(split(phonenumber,'')) view_number as phone_num)aa
group by name,phonenumber,phone_num
having count(1)>=5

2、求一下每個學生成績最好的學科及分數、最差的學科及分數、平均分數

有一張hive表，分別是學生姓名name(string)，學生成績score(map<string,string>),成績列中key是學科名稱，value是對應學科分數，請用一個hql求一下每個學生成績最好的學科及分數、最差的學科及分數
1）表數據如下：

zhangsan|Chinese:80,Math:60,English:90
lisi|Chinese:90,Math:80,English:70
wangwu|Chinese:88,Math:90,English:96
maliu|Chinese:99,Math:65,English:60

2）創建表：

create table stu_score_test(name string,score map<String,string>)
row format delimited
fields terminated by '|'
collection items terminated by ','
map keys terminated by ':';

3）導入數據：

load data local inpath '/home/atguigu/data/test_20211216' into table stu_score_test;

4）查看導入後表數據

hive> select * from stu_score_test;
OK
zhangsan    {"Chinese":"80","Math":"60","English":"90"}
lisi    {"Chinese":"90","Math":"80","English":"70"}
wangwu  {"Chinese":"88","Math":"90","English":"96"}
maliu   {"Chinese":"99","Math":"65","English":"60"}
Time taken: 0.164 seconds, Fetched: 4 row(s)

5）解題思路
explode拆分map數據類型

select 
    name,course,csorce
from(
    select 
        name
        ,course
        ,csorce 
        ,rank()over(partition by name order by csorce) last_rn
        ,rank()over(partition by name order by csorce desc) best_rn
    from stu_score_test
    lateral view  explode(score)  score_view as course,csorce
    )aa
where last_rn=1 or best_rn=1

3、生成start_time('2020-11-01')到end_time("2020-11-30")之間的所有日期

select  pos, date_add('2020-11-01', pos) as dynamic_date ,'2020-11-01' as start_time, '2020-11-30' end_time
from  fdc_dc.temp_hotal_live a
# lateral view posexplode(split(space(datediff('2020-11-30', '2020-11-01')),' ')) pe as i, x
# 我用上面的就不能實現結果 ，其它人夠能實現，腦袋疼 
LATERAL VIEW posexplode( split ( REPEAT('A,',datediff( '2021-12-17', '2021-11-17' )) , ',' ) ) t AS pos,val
WHERE user_id='8'

• 第一列爲生成的索引值。其中的 REPEAT函數爲複製幾個字符串，方便以，切分生成對應的索引個數。
  

4、計算酒店每天有多少個房間的入住---重點

1）需求如下

2）原始數據

7,2004,2021-03-05,2021-03-07
23,2010,2021-03-05,2021-03-06
7,1003,2021-03-07,2021-03-08
8,2014,2021-03-07,2021-03-08
14,3001,2021-03-07,2021-03-10
18,3002,2021-03-08,2021-03-10
23,3020,2021-03-08,2021-03-09
25,2006,2021-03-09,2021-03-12

3) 建表

create table temp_hotal_live(
user_id  varchar(50),
room_code  varchar(50),
Check_date varchar(50),
leave_date varchar(50)
)
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY ','
;

4) 分析思路
用posplode炸裂，補充完整時間

SELECT 
start_dd,end_dd,count(1)
from
(SELECT
    user_id,  --用戶id
    check_date,  --入店時間
    leave_date,  --離店時間
    date_add( check_date, pos ) start_dd,
    date_add( check_date, pos+1 ) end_dd
    FROM
    temp_hotal_live
    lateral VIEW 
    posexplode ( split ( REPEAT('A,',datediff( leave_date, check_date )) , ',' ) ) t AS pos, val
--posexplode ( split ( space(datediff( leave_date, check_date )) , ' ' ) ) t AS pos, val
--用space的時候一直報錯，我也不知道爲什麼，反正就是沒返回的結果，還好找到了另外的一種思路repeat
)
group BY start_dd,end_dd

• datediff,計算住了多少天，兩個時間之間的差值
• REPEAT(),把字符串複製多少次，把'A,'本題是把A,複製
• split，把字符串按分隔符分割爲數組
• posexplode ：炸裂，並排序

百度時間，發現更多是用空格sapce佔位,不用repeat,但是我在使用sapce時一直實現不了功能，比如數據全爲空，不能排序。

可以看下面文章增加了解：
hive高階函數（1）repeat、posexplode
Hive高階函數posexplode（可以用於生成動態日期序列）

總結：雖然文章大部分借鑑了其他博主的文章，但自己寫完之後，思路更加清晰，比看十幾篇別的博主文章掌握更好。並且網上文章的質量好的很少。

參考文章1：Hive應用：explode和lateral view，寫的最好的文章。
參考文章2：Hive學習之Lateral View，文章總結了多個lateral view 使用，及lateral view out 使用。
參考文章3：Hive表生成函數explode講解