原创 (9)第4章需求一:GMV成交總額 4.1 ADS層9

第4章需求一:GMV成交總額 4.1 ADS層 4.1.2建表語句 hive (gmall)> drop table if exists ads_gmv_sum_day; create external table ads_gmv

原创 9(11)第6章需求三:品牌復購率11

第6章需求三:品牌復購率 6.2 DWS層 6.2.1 用戶購買商品明細表(寬表) hive (gmall)> drop table if exists dws_sale_detail_daycount; create exter

原创 9(19)9.5 拉鍊表製作過程

9.5 拉鍊表製作過程 9.5.1 步驟0:初始化拉鍊表(首次獨立執行) 1)生成10條原始訂單數據 CALL init_data(‘2019-02-13’,10,5,10,TRUE); [atguigu@hadoop102 bi

原创 (6)數倉搭建之DWD層啓動表6

數倉搭建之DWD層 4.1 DWD層啓動表數據解析 4.1.1 創建啓動表 1)建表語句 hive (gmall)> drop table if exists dwd_start_log; CREATE EXTERNAL TABL

原创 9(21)流失用戶數21

第12章 需求六:流失用戶數 流失用戶:最近7天未登錄我們稱之爲流失用戶 12.1 DWS層 使用日活明細表dws_uv_detail_day作爲DWS層數據 12.2 ADS層 1)建表語句 hive (gmall)> drop

原创 9(12)6.2 ADS層12

6.2 ADS層 目標:當日、當週、當月活躍設備數 6.2.1 活躍設備數 drop table if exists ads_uv_count; create external table ads_uv_count( dt str

原创 9(22)最近連續3周活躍用戶數22

第13章 需求七:最近連續3周活躍用戶數 最近3周連續活躍的用戶:通常是週一對前3周的數據做統計,該數據一週計算一次。 13.1 DWS層 使用周活明細表dws_uv_detail_wk作爲DWS層數據 13.2 ADS層 1)建

原创 (6)3.4.6DWD層數據導入腳本6

3.4.6DWD層數據導入腳本 1)在/home/atguigu/bin目錄下創建腳本dwd_db.sh [atguigu@hadoop102 bin]$ vim dwd_db.sh 在腳本中填寫如下內容 #!/bin/bash

原创 9(19)沉默用戶數19

第10章 需求四:沉默用戶數 沉默用戶:指的是隻在安裝當天啓動過,且啓動時間是在一週前 10.1 DWS層 使用日活明細表dws_uv_detail_day作爲DWS層數據 10.2 ADS層 1)建表語句 hive (gmall

原创 9(15)Azkaban調度器15

第8章 Azkaban調度器 8.1 Azkaban安裝 azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz azkaban-web-serve

原创 (1)cdh

Hadoop安裝文檔 CentOS系統配置 centos7關閉防火牆 systemctl stop firewalld.service systemctl disable firewalld.service 關閉selinux s

原创 9(13)數據可視化13

第7章數據可視化 7.1在MySQL中創建表 7.1.1每日活躍統計 1)在MySQL中創建ads_uv_count表 DROP TABLE IF EXISTS ads_uv_count; CREATE TABLE ads_uv_

原创 (3)ODS層3

3.3ODS層 完全仿照業務數據庫中的表字段,一模一樣的創建ODS層對應表。 3.3.1創建訂單表 3.3.1創建訂單表 hive (gmall)> drop table if exists ods_order_info; cre

原创 (3)Flume的具體配置

2)Flume的具體配置如下: (1)在CM管理頁面hadoop102上flume的配置中找到代理名稱改爲a1 a1 102 103 a1.sources=r1 a1.channels=c1 c2 a1.sinks=k1 k2 c

原创 9(20)本週迴流用戶數20

第11章 需求五:本週迴流用戶數 本週迴流=本週活躍-本週新增-上週活躍 11.1 DWS層 使用日活明細表dws_uv_detail_day作爲DWS層數據 11.2 ADS層 1)建表語句 hive (gmall)> drop