數據倉庫分層之ODS、CDM、ADS、DWD、DWS

三層設計:(參考阿里One Data)

ODS 操作數據層

CDM:公共維度模型層     CDM劃分爲DWD 明細數據層   DWS彙總數據層

ADS  應用數據層

劃分原則:

1,高內聚和低耦合

2,核心模型與擴展模型分離     (擴展模型定製化需求)

3,公共處理邏輯下沉及單一

4,成本與性能平衡

5,數據可回滾(多次運行)

6,一致性(上下層,相同名稱含義一致)

7,命名清晰,易理解

數據倉庫架構分層設計_stg ods-CSDN博客

數據倉庫架構分層設計包括STG(數據緩衝層)、ODS(數據操作層)、DWD(數據明細層)、DWS(主題彙總層)和ADM(數據應用層)。
在這裏插入圖片描述
1、STG層
主要完成業務系統結構化數據引入到數據中臺,保留業務系統原始數據,緩衝層設計主要保持和數據源的一致性,不做任何類型轉換和數據加工處理,爲ODS層提供基礎數據服務。
2、ODS層
對STG層數據進行類型轉換或增量合併處理,得到的全量明細數據,爲DWD、DWS和ADM層提供數據服務。
3、DWD層
明細寬表層,用於存放完整詳細歷史數據。面向業務過程建模,緊緊圍繞着業務過程來設計,通過獲取描述業務過程的度量來表達業務過程,包含了引用的維度和與業務過程有關的度量。其設計目標是爲後續的Data Warehouse Model提供靈活性和擴展性的基礎,同時可以在DW層無法支持需求時直接爲應用層提供數據。DWD層由於與業務系統耦合程度較高,其穩定性會受到業務系統的影響。
4、DWS層
存放詳細歷史數據的公共彙總數據層,面向分析主題建模。DWS是核心數據層,是爲應用層提供足夠的靈活性和擴展性的基礎。
5、ADM層
提供直接面向業務或應用的數據,主要對個性化指標數據進行架構處理,如無公用性或複雜性(如指數型、比值型、排名型等指標數據)的指標數據加工。同時爲方便實現數據應用、數據消費的訴求,進行面向應用邏輯的數據組裝(如打寬表集市、橫錶轉縱表、趨勢指標串等)。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章