Hive下數據倉庫歷史拉鍊表如何加工,分區鍵該如何選擇

 

1 緩慢變化維

說到歷史拉鍊表,首先得說下緩慢變化維。

在現實世界中,維度的屬性並不是靜態的,而是隨着時間的變化而變化,這也體現了數據倉庫的特點之一,是反映歷史變化的。相對於數據增長較爲快速的事實表,維度的變化是相對緩慢的。

在維度建模理論中,處理緩慢變化維有三種方式:

  1. 新的維度屬性直接覆蓋舊的維度屬性,不保留歷史數據;
  2. 增加新的維度行(需要生成代理鍵來支持),維度變化前的事實關聯變化前的維度值,維度變化後的事實關聯變化後的維度值。缺點是無法歸一爲變化前的維度值或者變化後的維度值進行統計;
  3. 增加維度列,即針對維度的某一屬性時,在設計表時需要至少包含兩列,新屬性和舊屬性。優點是可以根據業務需求進行不同的歸一化處理,缺點是擴展性不好,保留的維度歷史數據有限。

2 歷史拉鍊表

而歷史拉鍊存儲恰恰是對第二種方式的一種升級,同樣是以增加新的維度行來實現,不同的是使用時間鍵來代替代理鍵。時間鍵包含兩個字段,開始時間和結束時間,一般以天爲粒度保留變更的維度數據。

2.1 查詢方式

  • 查詢當前最新狀態維度數據:select * from table_name where end_day = ‘30001231’
  • 查詢某一天的維度狀態數據:select * from table_name where start_day <= ‘20200201’ and end_day > '20200201'

2.2 加工方式

假設商品歷史拉鍊表(goods_hist)有如下5個字段:goods_id(商品編號)、price(商品價格)、is_on_sale(商品是否在售)、start_day(開始日期)、end_day(結束日期)

商品最新全量快照表(goods_cur)有如下3個字段:goods_id(商品編號)、price(商品價格)、is_on_sale(商品是否在售),快照日期爲20200201

則SQL加工語句爲:

WITH hist AS
(
  SELECT goods_id,
         price,
         is_on_sale,
         start_day
  FROM goods_hist
  WHERE end_day = 30001231
),
cur AS
(
  SELECT nvl(goods_id,-1) AS goods_id,
         nvl(price,-1) AS price,
         nvl(is_on_sale,-1) AS is_on_sale
  FROM goods_cur
)
SELECT nvl(cur.goods_id,hist.goods_id) AS goods_id,
       nvl(cur.price,hist.price) AS price,
       nvl(cur.is_on_sale,hist.is_on_sale) AS is_on_sale,
       nvl(hist.start_day,20200201) AS start_day,
       CASE
         WHEN cur.goods_id IS NULL THEN 20200201
         ELSE 30001231
       END AS end_day
FROM cur
  FULL OUTER JOIN hist
               ON cur.goods_id = hist.goods_id
              AND cur.price = hist.price
              AND cur.is_on_sale = hist.is_on_sale

SQL語句輸出的結果包括兩部分:

  • end_day=30001231的最新狀態維度數據
  • end_day=20200201的已失效的維度數據

2.3 分區方式

  • 方式1(使用start_day作爲分區鍵):缺點是查詢最新數據無法走分區;查詢某一天數據時end_day限制條件無法走分區;加工歷史拉鍊表數據時,end_day=30001231的結果數據不方便入庫
  • 方式2(使用end_day作爲分區鍵):缺點是查詢某一天數據時start_day限制條件無法走分區;優點是加工歷史拉鍊表數據時,結果數據入庫方便,直接insert overwrite覆蓋分區30001231和20200201即可
  • 方式3(使用start_day和end_day作爲聯合分區鍵,start_day爲父分區):查詢最新數據時需要改變下SQL語句,不然無法走分區(比如當前日期是20200401,SQL語句需改爲select * from table_name where start_day <= ‘20200401’ and end_day > '20200401',即查詢某一天數據的寫法);缺點是加工歷史拉鍊表數據時,end_day=30001231和end_day=20200201的結果數據都不方便入庫;而且分區數會越來越多,一年下來最多可能產生365*364/2=66430個分區;優點是查詢數據時start_day和end_day的限制條件都可以走分區
  • 方式4(使用start_day和end_day作爲聯合分區鍵,end_day爲父分區):缺點同方式3,但加工歷史拉鍊表數據時,結果數據入庫相對方便(首先將結果數據存入臨時表,然後清空拉鍊表的分區end_day=30001231和end_day=20200201,最後將臨時表數據以insert into方式入庫);優點同方式3

綜上所述,分區方式可在2和4中選擇。

選擇方式2,需要考慮隨着時間的推移,查詢某一天的維度狀態數據,消耗的計算資源會越來越多。可考慮刪除或者備份部分歷史數據至其他地方。

選擇方式4,需要考慮隨着時間的推移,分區數量會越來越多。可考慮定期重構歷史拉鍊表,比如在每個月月初強制重新開始做歷史拉鍊表(比如在20200401時,先將end_day=30001231的數據修改爲end_day=20200401,再基於最新全量快照表生成一份start_day=20200401,end_day=30001231的數據)。

2.4 注意點

設計歷史拉鍊表時,需要移除變化頻率高的維度屬性,不然生成新拉鍊的概率會很高,導致無法達到節省存儲的目的。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章