原创 大數據知識點總結
大數據爲什麼這麼快 1、擴展性 傳統的是縱向擴展（服務器數量不變，每個的配置越來越高） 大數據是橫向擴展（每個的配置不變，但服務器數量越來越多） 2、分佈式 傳統的是集中式存儲，集中式計算 大數據是分佈式存儲，分佈式計算 3、可用
2020-06-06 12:34:28
原创 千億數倉項目_(用戶瀏覽記錄整理分析(點擊流分析))
用戶瀏覽記錄整理分析（點擊流） 用戶行爲日誌 1 日誌數據格式 日誌數據內容樣例 f5dd685d-6b83-4e7d-8c37-df8797812075 222.68.172.190 - - 2018-11-01 14:34:
2020-06-06 12:34:28
原创 解決Hive異常:Column length too big for column PARAM_VALUE
異常介紹 用sqoop時出現中文亂碼，就改了mysql的編碼，順便把hive關聯的數據庫刪掉了，重新生成，之後出現 MetaException(message:An exception was thrown while addi
2020-06-06 12:34:28
原创 千億數倉項目第三章(數倉理論_緩慢變化維)
緩慢變化維 4.1 什麼是緩慢變化維（SCD) 1、緩慢變化維簡介 緩慢變化維，簡稱SCD（Slowly Changing Dimensions） 一些維度表的數據不是靜態的，而是會隨着時間而緩慢地變化（這裏的緩慢是相對事實表
2020-06-06 12:34:28
原创 千億項目理解
數倉項目架構： 項目流程 1、原始數據在mysql存儲 2、使用kettle將數據在mysql同步到數據倉庫（hive）,（同步分爲第一次全量+每天的增量=拉鍊表（目標：既能夠保存歷史的數據，又不會有數據冗餘）） 3、hive數
2020-06-06 12:34:28
原创 千億數倉第四章(指標計算_用戶的退貨指標分析)
退貨表指標統計 參考代碼： –dw層創建fact_order_refunds表 drop table if exists itcast_dw.fact_order_refunds; create table itcast_dw
2020-06-06 12:34:28
原创 千億數倉第四章(指標計算_用戶訂單指標業務開發)
用戶訂單指標業務開發 3.1 需求分析 電商平臺往往需要根據用戶的購買數據來分析用戶的行爲，此處。我們基於用戶的訂單情況進行一些統計分析，用於將來的用戶行爲分析。根據用戶的消費行爲習慣，對運營部門提供用戶分析數據指標。表是訂單表！
2020-06-06 12:34:28
原创 千億數倉第四章(指標計算_訂單分析地域、分類維度分析業務開發)
2訂單分析地域、分類維度分析業務開發 總結需求1： ads數據都來源於dw, DW層數據都來源於ods。 ads一張表存儲了18個需求的所有數據 2.1 需求分析 集團總公司分爲很多的分公司（銷售事業部） 爲了公司的經營需要
2020-06-06 12:34:28
原创 用戶畫像第一章()
企業級360°全方位用戶畫像 項目安排： 企業級360°全方位用戶畫像 一、用戶畫像概念、設計構建用戶畫像及項目演示說明 -2天 用戶畫像概念發展 如何構建用戶畫像 標籤Tag 項目核心功能： 深入剖析（最關鍵） 項目工程
2020-06-06 12:34:28
原创 千億數倉項目第三章(數倉理論_數據倉庫開發)
數據倉庫開發 業務系統表結構介紹 訂單表itcast_orders 訂單明細表 itcast_order_goods 商品信息表 itcast_goods 店鋪表 itcast_shops 商品分類表 it
2020-06-06 12:34:28
原创 千億數倉項目(數倉理論_商品維度數據裝載(拉鍊表))
商品維度數據裝載(拉鍊表) 拉鍊表設計： 1.採集當日全量數據存儲到 ND（當日） 表中。 2.可從歷史表中取出昨日全量數據存儲到 OD（上日數據）表中。 3.用ND－OD爲當日新增和變化的數據（即日增量數據）。 兩個表進行全
2020-06-06 12:34:28
原创 千億數倉第四章(指標計算_基於日期的訂單指標分析)
數倉項目 - 訂單分析時間維度分析業務開發 總結需求1：ads數據都來源於dw, DW層數據都來源於ods。 ads一張表存儲了四個需求的所有數據 準備日期數據 drop table if exists `itcast_dw
2020-06-06 12:34:28
原创 千億數倉2_使用Kettle生成日期維度數據
使用Kettle生成日期維度數據 需求： 爲了後續分析銷售訂單金額、訂單筆數的周環比、周同比、月環比、月同比，需要提前使用Kettle生成時間維度工具（環比是相鄰比較，同比是歷史同期比較） 按照以下字段生成 2019年一年的日期
2020-06-06 12:34:28
原创 千億數倉項目第三章（數倉理論介紹）
數據倉庫維度模型設計 維度建模基本概念 維度建模的作用：維度建模以分析決策的需求出發構建模型, 爲分析需求服務, 它重點解決用戶如何更快速完成分析需求。 維度建模是專門應用於分析型數據庫、數據倉庫、數據集市建模的方法。數據集市可以
2020-06-06 12:34:28