hive中UDTF函数explode详解 + explode与lateral view 3套案例练习

前言:每次使用UDTF函数的时候都要百度,会用但一直一知半解,今天对UDTF函数做一个总结。

目录:
一、UDTF函数 explode() 讲解
二、百度explode(),总会出现lateral view,它们各自的作用是什么?
三、explode、posexplode与lateral view 3套案例练习
1、找出相同数字的号码超过5位的手机号
2、求一下每个学生成绩最好的学科及分数、最差的学科及分数、平均分数
3、计算酒店每天房间的入住数--重点

hive中的函数分为3类,UDF函数、UDAF函数、UDTF函数

  • UDF:一进一出
  • UDAF:聚集函数,多进一出,类似于:count/max/min
  • UDTF:一进多出,如explore()、posexplode(),UDTF函数的时候只允许一个字段

百度explode()时,经常会出现lateral view + explode相关的文章,很少单独写explode()。分别了解ecplode() 与lateral view的各自作用很重要,不然过程都不知道实现的,换个UDTF函数就不会使用了。
而大部分文章都是explode()与lateral view一起讲解,当我们都不会使用UDTF函数时,不理解该类函数时,不知道仅UDTF函数如何使用、我们也不会真正的使用。所以先看第一部分吧

一、UDTF函数 explode() 讲解

UDTF函数作用都是输入一行数据,将该行数据拆分、并返回多行数据。不同UDTF函数只是拆分的原理不同、作用的数据格式不同而已。
这里详细讲解explode()用法,学会这一个其他的UDTF函数也会使用。

explode()将一行数据转换成列数据,可以用于arraymap类型的数据
1)explode()用于array的语法如下:

select explode(arraycol) as newcol from tablename;

#arraycol:arrary数据类型字段。
#tablename:表名

2)explode()用于map的语法如下:

select explode(mapcol) as (keyname,valuename) from tablename;
#tablename:表名
#mapcol:map类型的字段
#keyname:表示key转换成的列名称,用于代表key转换之后的列名。
#valuename:表示value转换成的列名称,用于代表value转换之后的列名称。

explode()用于map类型的数据时,由于map是kay-value结构的,所以它在转换的时候会转换成两列,一列是kay转换而成的,一列是value转换而成的。

3)以上为explode()函数的用法,此函数存在局限性:

  • 其一:不能关联原有的表中的其他字段。
  • 其二:不能与group by、cluster by、distribute by、sort by联用。
  • 其三:不能进行UDTF嵌套。
  • 其四:不允许选择其他表达式。

二、百度explode(),总会出现lateral view,它们各自的作用是什么?

第一部分对explode()函数做了简单的讲解,知道它作用的数据格式为array和map ,也知道了如何单独使用explode,可能脑袋还是有点懵,下面将结合案例一起学习。

UDTF函数(如:explode)只能只允许对拆分字段进行访问,即select时只能出现explode作用的字段,不能在选择表中其它的字段,否则会报错。
但是实际中需求中经常要拆某个字段,然后一起与别的字段一起取。这时就要使用lateral view。

lateral view为侧视图,其实就是用来和像类似explode这种UDTF函数联用的,lateral view会将UDTF生成的结果放到一个虚拟表中,然后这个虚拟表会和输入行进行join来达到连接UDTF外的select字段的目的。

不加lateral view的UDTF函数只能提取单个字段拆分,并不能塞回原来数据表中。加上lateral view就可以将拆分的单个字段数据与原始表数据关联上。在使用lateral view的时候需要指定视图别名生成新列别名。

1、udtf + lateral view 格式一
lateral view udtf(expression) tableAlias as columnAlias (,columnAlias)*
  • lateral view在UDTF前使用,表示连接UDTF所分裂的字段。
  • UDTF(expression):使用的UDTF函数,例如explode()。
  • tableAlias:表示UDTF函数转换的虚拟表的名称。
  • columnAlias:表示虚拟表的虚拟字段名称,如果分裂之后有一个列,则写一个即可;如果分裂之后有多个列,按照列的顺序在括号中声明所有虚拟列名,以逗号隔开。
2、udtf + lateral view 格式二
from basetable (lateral view)*
  • 在from子句中使用,一般和格式一搭配使用,这个格式只是说明了lateral view的使用位置。
  • from子句后面也可以跟多个lateral view语句,使用空格间隔就可以了
eg:
SELECT myCol1, myCol2 FROM baseTable
LATERAL VIEW explode(col1) myTable1 AS myCol1
LATERAL VIEW explode(col2) myTable2 AS myCol2;

#col1为表baseTable字段中的map或者array类型
#col2为表baseTable字段中的map或者array类型
3、udtf + lateral view 格式三
from basetable (lateral view outer)*

它比格式二只是多了一个outer,这个outer的作用是在UDTF转换列的时候将其中的也给展示出来UDTF默认忽略输出空的,加上outer之后,会将空也输出,显示为NULL。这个功能是在Hive0.12是开始支持的

eg:
select name,key,value from student_score lateral view outer explode(score) scntable as key,value;

-------------可接助下面逻辑理解-------------

# 查看表数据
hive> select * from udtf_test;
OK
jim5    ["james5","datacloase"]
jim4    ["james4","datacloase"]
jim3    ["james3","datacloase"]
jim2    ["james2","datacloase"]
Time taken: 0.084 seconds, Fetched: 4 row(s)

# 1)hive只允许对其拆分字段进行访问
hive> select explode(subordinates) from udtf_test;
OK
james5
datacloase
james4
datacloase
james3
datacloase
james2
datacloase
Time taken: 0.075 seconds, Fetched: 8 row(s)

#2)同时select 查询 explode作用字段及其它字段时,报错
hive> select explode(subordinates),name from udtf_test;
FAILED: SemanticException 1:29 Only a single expression in the SELECT clause is supported with UDTF's. Error encountered near token 'name'

#3)借助lateral view,同时查询explode作用字段及其它字段
hive> select name,subordinate from udtf_test
    > lateral view explode(subordinates)sub as subordinate;
OK
jim5    james5
jim5    datacloase
jim4    james4
jim4    datacloase
jim3    james3
jim3    datacloase
jim2    james2
jim2    datacloase
Time taken: 0.06 seconds, Fetched: 8 row(s)

三、explode、posexplode与lateral view 2套案例练习

拓展:
explode与lateral view在关系型数据库中本身是不该出现的,因为他的出现本身就是在操作不满足第一范式的数据(每个属性都不可再分),本身已经违背了数据库的设计原理(不论是业务系统还是数据仓库系统)
不过大数据技术普及后,很多类似pv,uv的数据,在业务系统中是存贮在非关系型数据库中,用json存储的概率比较大,直接导入hive基础的数仓系统中,就需要经过ETL过程解析这类数据,explode与lateral view在这种场景下大显身手。

1、找出相同数字的号码超过5位的手机号

1) 使用数据

jimmhe  18191512076
xiaosong    18392988059
jingxianghua    18118818818
donghualing 17191919999

2) 创建表

CREATE TABLE udtf_test1(
  name string, 
  phonenumber string)
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY '\t'

3) 加载数据

load data local inpath '/home/atguigu/data/test_20211215.txt' into table udtf_test1;

4) 查看加载表数据

hive> select * from udtf_test1;
OK
jimmhe  18191512076
xiaosong    18392988059
jingxianghua    18118818818
donghualing 17191919999
Time taken: 0.076 seconds, Fetched: 4 row(s)

5) 解题分析思路
split将电话号码,拆分成数组,在用explode炸裂

select name,phonenumber
from(
select 
    name
    ,phonenumber
    ,phone_num
from udtf_test1
lateral view explode(split(phonenumber,'')) view_number as phone_num)aa
group by name,phonenumber,phone_num
having count(1)>=5
2、求一下每个学生成绩最好的学科及分数、最差的学科及分数、平均分数

有一张hive表,分别是学生姓名name(string),学生成绩score(map<string,string>),成绩列中key是学科名称,value是对应学科分数,请用一个hql求一下每个学生成绩最好的学科及分数、最差的学科及分数
1)表数据如下:

zhangsan|Chinese:80,Math:60,English:90
lisi|Chinese:90,Math:80,English:70
wangwu|Chinese:88,Math:90,English:96
maliu|Chinese:99,Math:65,English:60

2)创建表:

create table stu_score_test(name string,score map<String,string>)
row format delimited
fields terminated by '|'
collection items terminated by ','
map keys terminated by ':';

3)导入数据:

load data local inpath '/home/atguigu/data/test_20211216' into table stu_score_test;

4)查看导入后表数据

hive> select * from stu_score_test;
OK
zhangsan    {"Chinese":"80","Math":"60","English":"90"}
lisi    {"Chinese":"90","Math":"80","English":"70"}
wangwu  {"Chinese":"88","Math":"90","English":"96"}
maliu   {"Chinese":"99","Math":"65","English":"60"}
Time taken: 0.164 seconds, Fetched: 4 row(s)

5)解题思路
explode拆分map数据类型

select 
    name,course,csorce
from(
    select 
        name
        ,course
        ,csorce 
        ,rank()over(partition by name order by csorce) last_rn
        ,rank()over(partition by name order by csorce desc) best_rn
    from stu_score_test
    lateral view  explode(score)  score_view as course,csorce
    )aa
where last_rn=1 or best_rn=1

3、生成start_time('2020-11-01')到end_time("2020-11-30")之间的所有日期

select  pos, date_add('2020-11-01', pos) as dynamic_date ,'2020-11-01' as start_time, '2020-11-30' end_time
from  fdc_dc.temp_hotal_live a
# lateral view posexplode(split(space(datediff('2020-11-30', '2020-11-01')),' ')) pe as i, x
# 我用上面的就不能实现结果 ,其它人够能实现,脑袋疼 
LATERAL VIEW posexplode( split ( REPEAT('A,',datediff( '2021-12-17', '2021-11-17' )) , ',' ) ) t AS pos,val
WHERE user_id='8'

  • 第一列为生成的索引值。其中的 REPEAT函数为复制几个字符串,方便以切分生成对应的索引个数。

4、计算酒店每天有多少个房间的入住---重点

1)需求如下


2)原始数据

7,2004,2021-03-05,2021-03-07
23,2010,2021-03-05,2021-03-06
7,1003,2021-03-07,2021-03-08
8,2014,2021-03-07,2021-03-08
14,3001,2021-03-07,2021-03-10
18,3002,2021-03-08,2021-03-10
23,3020,2021-03-08,2021-03-09
25,2006,2021-03-09,2021-03-12

3) 建表

create table temp_hotal_live(
user_id  varchar(50),
room_code  varchar(50),
Check_date varchar(50),
leave_date varchar(50)
)
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY ','
;

4) 分析思路
用posplode炸裂,补充完整时间

SELECT 
start_dd,end_dd,count(1)
from
(SELECT
    user_id,  --用户id
    check_date,  --入店时间
    leave_date,  --离店时间
    date_add( check_date, pos ) start_dd,
    date_add( check_date, pos+1 ) end_dd
    FROM
    temp_hotal_live
    lateral VIEW 
    posexplode ( split ( REPEAT('A,',datediff( leave_date, check_date )) , ',' ) ) t AS pos, val
--posexplode ( split ( space(datediff( leave_date, check_date )) , ' ' ) ) t AS pos, val
--用space的时候一直报错,我也不知道为什么,反正就是没返回的结果,还好找到了另外的一种思路repeat
)
group BY start_dd,end_dd
  • datediff,计算住了多少天,两个时间之间的差值
  • REPEAT(),把字符串复制多少次,把'A,'本题是把A,复制
  • split,把字符串按分隔符分割为数组
  • posexplode :炸裂,并排序

百度时间,发现更多是用空格sapce占位,不用repeat,但是我在使用sapce时一直实现不了功能,比如数据全为空,不能排序。



可以看下面文章增加了解
hive高阶函数(1)repeat、posexplode
Hive高阶函数posexplode(可以用于生成动态日期序列)

总结:虽然文章大部分借鉴了其他博主的文章,但自己写完之后,思路更加清晰,比看十几篇别的博主文章掌握更好。并且网上文章的质量好的很少。

参考文章1:Hive应用:explode和lateral view,写的最好的文章。
参考文章2:Hive学习之Lateral View,文章总结了多个lateral view 使用,及lateral view out 使用。
参考文章3:Hive表生成函数explode讲解

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章