【阿里巴巴中臺—模型設計】模型分層和原則

一、模型分層

維度建模將數據分爲三層:操作數據層(ODS),公共緯度模型層(CDM),應用數據層(ADS),其中,CDM又分爲明細數據層(DWD)和彙總數據層(DWS)。

操作數據層(ODS):把操作系統數據幾乎無處理的存放到數據倉庫系統中。
公共緯度模型層(CDM):又細分爲DWD和DWS,分別是明細數據層和彙總數據層,採用維度模型方法作爲理論基礎,更多采用一些維度退化方法,將維度退化至事實表中,減少事實表和維表的關聯,提高明細數據表的易用性,同時在彙總數據層,加強指標的維度退化,採取更多的寬表化手段構建公共指標數據層,提升公共指標的複用性。
應用數據層(ADS):存放數據產品個性化的統計指標數據,根據CDM與ODS加工生成。

模型架構如下:

 

二、設計原則

1、高內聚和低耦合:將業務相近或者相關、粒度相同的數據設計爲一個邏輯或者物理模型;按照使用概率將數據進行分開儲存
2、核心模型和擴展模型分離:核心模型包括的字段支持最常用的業務,保持核心模型的簡潔
3、公共處理邏輯下沉:對公用處理邏輯進行提早下沉。
4、成本和性能的平衡:適當的冗餘能換取查詢性能、不適宜過度冗餘浪費儲存成本
5、數據可回滾:支持數據可以回滾
6、一致性:統一企業數據的口徑
7、命名清晰、可理解

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章