9（22）最近連續3周活躍用戶數22

第13章 需求七：最近連續3周活躍用戶數
最近3周連續活躍的用戶：通常是週一對前3周的數據做統計，該數據一週計算一次。
13.1 DWS層
使用周活明細表dws_uv_detail_wk作爲DWS層數據
13.2 ADS層
1）建表語句
hive (gmall)>
drop table if exists ads_continuity_wk_count;
create external table ads_continuity_wk_count(
dt string COMMENT ‘統計日期,一般用結束週週日日期,如果每天計算一次,可用當天日期’,
wk_dt string COMMENT ‘持續時間’,
continuity_count bigint
)
row format delimited fields terminated by ‘\t’
location ‘/warehouse/gmall/ads/ads_continuity_wk_count’;
2）導入2019-02-20所在周的數據
hive (gmall)>
insert into table ads_continuity_wk_count
select
‘2019-02-20’,
concat(date_add(next_day(‘2019-02-20’,‘MO’),-73),’_’,date_add(next_day(‘2019-02-20’,‘MO’),-1)),
count()
from
(
select mid_id
from dws_uv_detail_wk
where wk_dt>=concat(date_add(next_day(‘2019-02-20’,‘MO’),-73),’_’,date_add(next_day(‘2019-02-20’,‘MO’),-72-1))
and wk_dt<=concat(date_add(next_day(‘2019-02-20’,‘MO’),-7),’_’,date_add(next_day(‘2019-02-20’,‘MO’),-1))
group by mid_id
having count(*)=3
)t1;
3）查詢
hive (gmall)> select * from ads_continuity_wk_count;
13.3 編寫腳本
1）在hadoop102的/home/atguigu/bin目錄下創建腳本
[atguigu@hadoop102 bin]$ vim ads_continuity_wk_log.sh
在腳本中編寫如下內容
#!/bin/bash

if [ -n “$1” ];then
do_date=$1
else
do_date=date -d "-1 day" +%F
fi

hive=/opt/module/hive/bin/hive
APP=gmall

echo “-----------導入日期$do_date-----------”

sql="
insert into table “$APP".ads_continuity_wk_count select '$do_date’,
concat(date_add(next_day(‘KaTeX parse error: Expected group after '_' at position 23: …','MO'),-7*3),'_̲',date_add(next…do_date’,‘MO’),-1)),
count()
from
(
select mid_id
from "$APP".dws_uv_detail_wk where wk_dt>=concat(date_add(next_day('$do_date’,‘MO’),-73),’’,date_add(next_day(‘$do_date','MO'),-7*2-1)) and wk_dt<=concat(date_add(next_day('$do_date’,‘MO’),-7),’’,date_add(next_day(’$do_date’,‘MO’),-1))
group by mid_id
having count(*)=3
)t1;”

$hive -e "$sql"
2）增加腳本執行權限
[atguigu@hadoop102 bin]$ chmod 777 ads_continuity_wk_log.sh
3）腳本使用
[atguigu@hadoop102 module]$ ads_continuity_wk_log.sh 2019-02-20
4）查詢結果
hive (gmall)> select * from ads_continuity_wk_count;
5）腳本執行時間
企業開發中一般在每週一凌晨30分~1點