Hive第七天——Hive函数（开窗函数之组内排序）

---

本文部分参考自：https://blog.csdn.net/qq_23897391/article/details/100688796

---

Hive第七天——Hive函数

自己的话：千里之行，始于足下。

每天都要保持前进，我势必要有强劲的实力，再跟明天的自己问好。

开窗函数：组内排序

---

开窗函数的固定写法：

over(partition by 列名1,列名2 …… order by 列名3,列名4 …… [desc])

数据准备:

新建test.txt文件，输入如下的三列数据，以空格分隔。第一列是月份，第二列代表商铺名称，第三列代表该商铺该月营业额（万元）。

[root@hadoop ~]# vim test.txt 
 
2019-01 a 4
2019-01 b 3
2019-01 c 3
2019-01 d 2
2019-01 e 1
2019-02 a 1
2019-02 b 2
2019-02 c 3
2019-02 d 3
2019-02 e 4

在hive中新建表temp_test10，将test文件中的数据插入，查看数据。

hive >CREATE TABLE temp_test10 (
     >month STRING comment '月份',
     >shop STRING comment '商铺名称',
     >money STRING comment '营业额（万元）') 
     >row format delimited 
     >fields terminated BY ' ';
 
 
hive >load data local inpath '/root/test.txt' into table temp_test10;
 
hive >select * from temp_test10;
 
temp_test10.month	temp_test10.shop	temp_test10.money
2019-01					a					4
2019-01					b					3
2019-01					c					3
2019-01					d					2
2019-01					e					1
2019-02					a					1
2019-02					b					2
2019-02					c					3
2019-02					d					3
2019-02					e					4

---

一、row_number()

row_number()会生成数据项在分组中的排名，排名即便相等也不会有并列排名，相同排名随机排序。

举例：

1.生成排序后的唯一序号

首先按照月份进行分组，然后每个组内按照营业额从大到小排序，为组内每一行数据得到一个唯一序号。

hive >SELECT month,shop,MONEY,row_number() 
	 >OVER (PARTITION BY month ORDER BY 	MONEY DESC --按照月份进行分组，然后每个组内按照营业额从大到小排序) 
	 >AS rk  --生成的排序序号
	 >FROM temp_test10
 
 
结果：
 
month	shop	money	rk
2019-01	 a		4  	     1
2019-01	 c		3		 2
2019-01	 b		3		 3
2019-01	 d 		2		 4
2019-01	 e		1		 5
2019-02	 e 		4		 1
2019-02	 d		3		 2
2019-02	 c		3		 3
2019-02	 b		2		 4
2019-02	 a		1		 5

2.取top n

取出1月和2月每个月营业额排名前3的店铺及营业额。

使用子查询取出rk<=3的数据即可
 
hive >SELECT *
	 >FROM (SELECT month,shop,MONEY,row_number() 
	 >OVER (PARTITION BY month ORDER BY MONEY DESC --按照月份进行分组，然后每个组内按照营业额从大到小排序) 
	 >AS rkFROM temp_test10) a
	 >WHERE rk <= 3;
 
结果：
a.month	a.shop	a.money	a.rk
2019-01	a	4	1
2019-01	c	3	2
2019-01	b	3	3
2019-02	e	4	1
2019-02	d	3	2
2019-02	c	3	3

如果只有一个分组，那么可以省略partition by，比如只取出1月营业额排名前3的店铺及营业额。

hive >SELECT *
	 >FROM (SELECT month,shop,MONEY,row_number() 
	 >OVER (ORDER BY MONEY DESC --按照营业额从大到小排序) 
	 >AS rkFROM temp_test10WHERE month = '2019-01') a
	 >WHERE rk <= 3;
 
结果：
a.month	a.shop	a.money	a.rk
2019-01	a	4	1
2019-01	c	3	2
2019-01	b	3	3

3.每个分组内取出n个随机值

row_number()配合rand()函数即可实现每个分组内取出n个随机值的需求。
每个月随机抽取两家店铺:

hive >SELECT *
	 >FROM (SELECT month,shop,MONEY,row_number() 
	 >OVER (PARTITION BY month ORDER BY rand(1) --可以使用任意数作为种子进行随机排序，也可以不填，直接使用rand()) 
	 >AS rk FROM temp_test10) a
	 >WHERE rk <= 2; --限制rk来取出n个随机值
 
结果：
a.month	a.shop	a.money	a.rk
2019-01	c	3	1
2019-01	d	2	2
2019-02	a	1	1
2019-02	e	4	2

---

二、rank()

rank()可以生成数据项在分组中的排名，排名相等时会产生并列排名，然后会在名次中留下空位。应用场景不多，很少需要使用，了解即可。

举例：

首先按照月份进行分组，然后每个组内按照营业额从大到小排序，生成排名，并列排名后留下空位。

hive >SELECT month,shop,MONEY,rank() 
	 >OVER (PARTITION BY month ORDER BY MONEY DESC --按照月份进行分组，然后每个组内按照营业额从大到小排序) 
	 >AS rk  --生成的排序序号
	 >FROM temp_test10;
 
 
结果：
 
month	shop	money	rk
2019-01	 a		 4		1
2019-01	 c		 3		2
2019-01	 b		 3		2
2019-01	 d		 2		4
2019-01	 e		 1		5
2019-02	 e	  	 4		1
2019-02	 d		 3		2
2019-02	 c		 3		2
2019-02	 b		 2		4
2019-02	 a 		 1		5

---

三、 dense_rank()

dense_rank()可以生成数据项在分组中的排名，排名相等时会产生并列排名，但不会在名次中留下空位。应用场景也不多，很少需要使用，了解即可

举例：

首先按照月份进行分组，然后每个组内按照营业额从大到小排序，生成排名，并列排名后不要留下空位。

hive >SELECT month,shop,MONEY,dense_rank() 
	 >OVER (PARTITION BY month ORDER BY MONEY DESC --按照月份进行分组，然后每个组内按照营业额从大到小排序) 
	 >AS rk  --生成的排序序号
	 >FROM temp_test10;
 
 
结果：
 
month	shop	money	rk
2019-01	 a	   4		1
2019-01	 c	   3		2
2019-01	 b	   3		2
2019-01	 d	   2		3
2019-01	 e	   1		4
2019-02	 e	   4		1
2019-02	 d	   3		2
2019-02	 c	   3		2
2019-02	 b	   2		3
2019-02	 a	   1		4

---

四、综合案例

最后，再拿出一个我自己的举例：

求每个人前两高的分数

1.数据准备

vi score.txt

zhangsan,1,90,2
zhangsan,2,95,1
zhangsan,3,68,3
lisi,1,88,3
lisi,2,95,2
lisi,3,98,1

2.导入数据

hive >create table t_score(name string,kcid string,score int)
	 >row format delimited
	 >fields terminated by ',';

hive>load data local inpath '/home/score.txt' into table t_score;

3.查询数据

（1）按名字分组并在组内排序展示序号

hive> select *,row_number() over(partition by name order by score desc) rank from t_score;

（2）从上表中再查询排名小于三的数据

hive >select name,kcid,score
	 >from(select *,row_number() over(partition by name order by score desc) as rank from t_score) tmp
	 >where rank<3;

4.最后，应用到之前的json电影评分数据上

求出每个用户评分最高的3部电影

建表并加载数据
hive >create table t_rate_topn_uid
	 >as
	 >select uid,movie,rate,ts
	 >from(select *,row_number() over(partition by uid order by rate desc) as rank from t_rate) tmp
	 >where rank<11;


查询
hive> select * from t_rate_topn_uid where uid=1;

---

这样，开窗函数中的组内排序就介绍完了，希望对大家有所帮助，可别忘了点赞。